基于3D 骨骼點數據的人體動作識別算法研究

呂松杰，祁宇明，鄧三鵬，夏育泓，劉 浩

（1.天津職業技術師范大學機器人及智能裝備研究院，天津 300222；2.天津市智能機器人技術及應用企業重點實驗室，天津 300350）

0 引言

隨著工業智能化的迅速發展，近年來，人機協作技術逐漸被應用于非結構化工業領域中，人機協作的提出打破了傳統的人控制機器的工作模式和單一結構化的工作環境，在同一作業環境下實現了人與機器人協作完成任務[1]。感知技術是實現人機協作的前提[2]。為了更加安全高效完成人機協作任務，在復雜的工業場景下機器人需要對工人的行為意圖準確識別和快速理解，因此基于視覺的人體動作識別在人機協作的場景中有著重要的應用價值。

人體動作識別作為人機協作過程中的重要一步，近年來得到了快速發展，人體動作識別的方法根據輸入形式的不同主要分為2 種，分別是基于RGB數據[3，4]和基于人體骨架數據[5]。第1 種最常見的是用3D 卷積神經網絡[6]和雙流卷積神經網絡的方法來完成動作識別。第2 種骨架數據相較于RGB 數據而言，排除了圖片中復雜背景和冗余信息的干擾，單純保留了人體動作本身的關鍵信息[7]，在工業場景下更適合作為人體動作識別的輸入數據。

隨著深度學習的發展，基于人體姿態估計的算法僅通過處理圖片就可以得到人體骨骼點的位置信息，但是目前大多數的人體姿態估計算法模型的參數量較大，應用在工業場景中實時性較差。BlazePose 是谷歌2020年提出的一種用于人體姿態估計的輕量級卷積神經網絡模型[8]，可以完成實時的檢測。

使用BlazePose 處理自制的數據集得到人體三維的骨骼點位置信息，對骨骼點數據進行數據預處理后，利用主成分分析（PCA）對數據進行降維處理。采用BP 神經網絡分類算法對工業場景下工人可能出現的3 種動作：正常狀態下的站立或行走、搬運、操作示教器，進行動作的識別。

1 人體3D 骨骼點特征工程的構建

設計的人體動作識別模型主要包括兩部分：人體3D 骨骼點特征工程的構建和分類算法的設計，整體設計流程如圖1 所示。用BlazePose 算法處理得到的33個骨骼點，經過數據預處理和PCA 降維處理，將未降維和降維的數據分別輸入到分類算法中完成動作分類，最后經過實驗對比，選擇出一種最優的動作識別算法。

圖1 動作識別算法的流程

自制的數據集包括3 種工業場景下工人可能會出現的動作：搬運、操作示教器和正常狀態下站立或行走。如表1 所示，篩選整理過后的3 種動作數據集一共包括2802 張圖片。

表1 工業場景下動作數據集

1.1 人體姿態估計算法

BlazePose 是一種用于人體姿態估計的輕量級卷積神經網絡模型，在預測的過程中，BlazePose 將輸出33個3D 骨骼點位置信息（x，y，z），其中x、y、z三個坐標是在以米為單位的真實世界3D 坐標系中，原點位于臀部之間的中心。每張圖片輸出的骨骼點坐標不僅都以臀部中心為坐標原點，而且每次輸出的數據尺度也相同，這樣在比較不同樣本之間的骨骼點數據時，就不需要對骨骼點數據進行歸一化等處理。如圖2 所示為BlazePose 處理搬運這個動作后得到的結果以及此動作33個關鍵點在三維空間坐標系中的可視化。

圖2 BlazePose 處理后的可視化效果

1.2 特征提取

經過實驗分析，僅僅使用BlazePose 輸出得到的33個人體骨骼點位置信息就可以表達人體動作的語義特征。單張圖像經過BlazePose 處理可以得到33個關鍵點的3D 坐標信息，是一個大小為（33，3）的二維數組數據，將這個二維數組數據經過維度變換之后得到一個特征維度為99 的一維數組數據，加入動作的標簽后，這樣就完成了一個樣本數據的構建。用BlazePose 循環處理數據集中的所有圖像，對數據預處理后得大小為（2802，100）的二維數組數據，將數據寫入到CSV 文件中，用于后面的動作分類任務。

PCA 是最常用的降維算法，其目的在于將高維的數據映射到低維的空間中，并期望在所投影的維度上數據的信息量最大。一般用主成分所占的百分比來衡量PCA 降維后數據的好壞，也就是前k個主成分總的方差貢獻率。用PCA 對預處理后的數據進行降維處理，為了找到一個較好的下降維度，輸出前n個主成分占比總和，如圖3 所示，當數據下降到20 維的時候，前20個主成分占比可以達到99.5%，因此可以將數據從99 維降到20 維，將降維后大小為（2802，20）的二維數組數據加入標簽后寫入到另外一個CSV 文件中。

圖3 下降到不同維度時PCA 總的主成分占比

2 人體動作分類算法

完成人體3D 骨骼點特征工程的構建后，得到了2 組數據，都是2802個樣本數據，包括3 種動作類別。第1 組是沒有進行PCA 降維的數據，特征維度為99 維，數據保留了動作姿態原始的特征；第2 組是降維后的數據，特征維度為20 維，數據量相對較小。將這2 組數據分別作為分類算法的輸入，使用BP 神經網絡算法進行分類，最后將動作識別算法應用在視頻數據上，來驗證動作識別算法的實時性。

BP 神經網絡是一種按誤差反向傳播算法訓練的多層前饋網絡，訓練的過程包括前向傳播和反向傳播，在反向傳播的過程中，根據誤差更新各種參數的值，使得總誤差減小。對數據進行反復訓練，直到誤差減少到可以接受的程度。本實驗中，輸入層節點數將設置為99個或20個，輸出層節點數為3個，設置兩個隱藏層，在分類之前需要進行大量的實驗來確定隱藏層節點的個數，以保證可以得到一個較好的分類結果。同時在BP 神經網絡中還將加入BN（Batch Nor原malization）層，它可以很好地約束特征數據的尺度范圍，讓數據保持在一個良好的分布范圍之內。加入BN 層不僅可以加速模型的訓練，還可以提高分類的準確率。

3 實驗結果與分析

實驗均在Intel i5-8250U CPU 處理器、4G 內存的PC 上進行，系統環境為64 位Windows 10 操作系統，采用Python3.8 進行編程，采用Pytorch 1.10 深度學習框架完成網絡模型的搭建、訓練和測試。

3.1 動作分類算法分析

數據集中的圖片經過BlazePose 處理會輸出33個3D 骨骼點位置坐標信息，經過數據處理后得到的特征維度為99 維，再經過PCA 降維得到20 維，將降維前的數據和降維后的數據分別寫入到不同的CSV文件中，這兩組非結構化數據將輸入到分類算法中完成動作分類。

將數據按照0.75頤0.25 的比例劃分成訓練集和測試集，經過大量的實驗測試，最終將BP 神經網絡設置為4 層，其中輸入層有99個節點，第1 層有120個節點，在第2 層后面加入BN 層和激活函數RELU，第3 層有84個節點，第3 層后面也加入BN 層和激活函數RELU，輸出層有3個節點。網絡模型的批大小設置為112，初始學習率設置為0.01，選擇交叉熵損失函數，采用隨機梯度下降作為優化策略，訓練周期為30 epoch，采用學習率下降策略，在15 ～ 30 epoch 學習率下降10 倍。網絡模型訓練時的loss 曲線和準確率曲線，訓練30 epoch 之后，測試集的準確率可以達到98.37%，如圖4 所示。從圖4 可以看出，降維的數據用BP 神經網絡模型訓練后，測試集的準確率為98.86%，準確率比未降維的數據高，同時模型參數量更小，識別速度相對快點。

圖4 BP 神經網絡訓練時的loss 曲線和準確率曲線

3.2 實時性分析

將訓練好的動作分類模型應用在一段480 幀的視頻數據上，計算模型識別的FPS，來驗證動作識別算法的實時性，該視頻數據中的動作為操作示教器。當采用不同模型時它的動作識別準確率與動作識別速度，可以看到2 種算法基本都能達到實時識別（表2）。

表2 動作識別準確率與動作識別速度

4 結語

在非結構工業場景下對人體動作識別的算法，該算法使用自制的3 種動作數據集，通過BlazePose 提取人體3D 骨骼點位置信息，經過數據預處理和PCA降維后，將未降維的數據和降維的數據分別送入到BP 神經網絡中進行分類，從而完成人體動作的識別。經過實驗對比，使用PCA 降維后的數據作為分類算法的輸入，模型的準確率相對高一點，準確率可達到98.86%，識別速度更快，平均每秒可以運行30 幀，可完成實時的動作識別。在真實的工業場景下，分析和識別工人的動作不僅可以對工人的行為規范進行監督，還可以讓機器人更加安全高效的與工人共同完成工作任務，具有良好的實際應用價值。

本研究收集到的數據集存在數量少、不夠全面等缺點，對于比較相近的動作可能會出現識別錯誤，接下來的研究應擴大和優化數據集，尋找更好的特征提取方法，來提高人體動作識別的準確度和魯棒性。