基于特征融合的下肢骨骼數據網格化提取算法

霍宇飛，于隨然

(上海交通大學機械工程學院，上海200240)

1 引言

動作識別是計算機對于人類動作進行分析與理解，從而完成人體動作識別化劃分的技術[1-2]。隨著科學技術的逐步發展，人類已由信息匱乏的時代逐漸走向信息高度集成發展的時期，人們對于個人信息安全的重視程度逐漸提升，也成為人類高度信息化時代發展的迫切要求。身份認證技術成為保證個人信息安全的重要技術之一，已經被廣泛地應用到生活中的各種環境。尤其是人員流動量較多或是公共安全要求較高的地區。在此技術的使用過程中，大致可分為3部分，為了提升信息安全保障技術的使用效果，多將此三部分內容融合使用。

特征融合技術作為人工智能中的關鍵技術，具有巨大的創新空間與應用價值，吸引了越來越多的企業與科研機構的關注與研究。從動作識別角度分析可知，人體骨骼識別大致可分為姿態數據獲取、骨架動態數據獲取以及關鍵姿態挖掘。針對個人信息安全的要求，將姿態特征中的骨骼動作視作人體生理骨架關節點之間的硬連接段的集合。目前，國內外各類組織和知名大學花費了大量的精力與時間用于此技術的研究之中。許艷等人[3]為發揮深度圖像與骨骼數據的優越性，將深度特征與骨骼特征結合進行人體行為識別，研究特征融合的人體行為提取方法，在深度圖像方面捕捉行為線索，提取人體行為梯度，輪廓曲率的幾何特征;在骨骼數據方面提取運動節點的多種特征，用人體行為輪廓比，角度差和距離差表征行為形態，達到結果只與行為分布有關的目的；運用一種多模型概率投票的識別分類機制，減小噪聲對實驗結果的影響，該方法能夠有效識別人體行為；但是耗費時間較長；楊凱歌等人[4]提出迭代學習控制算法追蹤人體髖關節和膝特征提取方法，結合人體下肢結構分析，建立下肢外骨骼機器人動力學模型，基于迭代學習控制算法建立下肢外骨骼機器人隨動控制模型，分析收斂速度與譜半徑的關系，提取得到人體下肢髖關節和膝關節期望軌跡，但是提取準確率不理想。

針對上述問題，將數據網格化技術應用于下肢骨骼提取中，以此提升下肢骨骼數據的獲取效果。在此次研究中，將完成基于特征融合的下肢骨骼數據網格化提取算法設計過程，并設定相應的案例驗證其使用效果。

2 下肢骨骼數據網格化提取算法

針對目前下肢骨骼數據網格化提取算法在應用中的不足，在此次研究中將使用特征融合技術對其進行優化。此次研究將下肢骨骼數據網格化提取算法優化過程設定為3部分，具體內容如下所示。

2.1 下肢骨骼動力學分析

通過文獻研究可知，人體下肢主要關節主要可分為3部分，具體功能可具體顯示如下。

表1 人體下肢主要關節功能

根據上述分析結果，在此次研究中構建相應的下肢骨骼動力學模型[5]，得到相應的動力學分析結果。當人體站立時，下肢呈平行直立狀態，下肢以上身體重量與下肢的壓力可設定為A1，下肢自身的重力可設定為A2，地面對下肢的支撐力可表示為B。當人體自然站立時，下肢合力為零，則有

B=A1+A2

(1)

人體下肢肌肉的合力設定為Bj1，則有

Bj1=B=A1+A2

(2)

當人體步行或奔跑時，下肢受力出現相應的變化，此時下肢除需要承受身體的重力、自身重力以及地面支撐力外，還需要承受一個與前進方向相反的阻力B2以及人體前進方向的靜摩擦力c(c>B2)，此時任意下肢肌肉承受的合力可表示為

Bj2=B+c=A1+A2+c

(3)

當人體在坡度環境中活動時，下肢受力情況出現變化。當在坡度環境運動時，地面對下肢的支持力B大于人體壓力A1與下肢自身重量的合力A2；當下坡時，地面的支撐力B小于人體壓力A1與下肢自身重量的合力A2，此時則有

Bj3=B+c

(4)

根據上述公式，可對人體下肢骨骼運動時的做功情況進行分析，在此部分分析中使用希爾肌肉三元素模型作為分析藍本，將E表示下肢肌肉單元所受的合力，設定并聯骨骼彈性單元上的合力為E1，串聯骨骼彈性單元上的合力為E2，骨骼運動單元的合力為E3則有

E3=E1

(5)

E=E2+E3

(6)

通過上述公式，對下肢運動時的骨骼合力進行分析，并以此作為此次研究中的數據基礎。

2.2 下肢骨骼特征數據提取

在此次研究中，將使用Kinect V1設備[6-7]獲取相應的人體圖像數據，并使用上文中設定的動力學分析模型，獲取相應的骨骼數據。為了保證下肢骨骼特征數據提取數據來源的穩定性與真實性，將技術參數與運行環境設定如下。

表2 Kinect V1設備技術參數與運行環境設定

使用上述設備獲取人體下肢骨骼數據，針對原有方法在使用中的問題，在此次研究中主要針對人體位移特征進行分析與提取。設定人體下肢關節點為Gt=(x，y，z)t，在當前的運動圖像與上一個時間點的位置可設定為Gt-1=(x，y，z)t-1，并計算兩點之間的位移。同時，計算Gt對于動作初始狀態G0=(x，y，z)0之間的相對位移，則有

G(t1，t2)=(x，y，z)t1-(x，y，z)t2

(7)

為了降低時間延遲對數據處理結果的影響，在此次研究中使用節點移動機體積[8-9]作為特征表達方式。設定下肢骨骼關節點為i，在人體運動的過程中，首先尋找對應的關節點j在x，y，z軸上中的最近距離與最遠距離，然后關節點j在坐標系中的移動范圍可采用下述公式體現

Lx=[max(xj)-min(xj)]

(8)

Ly=[max(yj)-min(yj)]

(9)

Lz=[max(zj)-min(zj)]

(10)

因此，關節點j的移動體積可顯示為

Vi=LzLyLx

(11)

根據此公式，可得到人體下肢關節點i與關節點j之間的位移可通過下述公式計算

Hi，j=(x，y，z)i-(x，y，z)j

(12)

通過上述公式計算人體位移，并獲取相應的特征數據，提高數據處理精度。

2.3 實現下肢骨骼數據網格化提取

通過處理后，得到下肢骨骼數據預處理結果。在原有方法的使用過程中，通過對數據進行網格劃分，提取相應的骨骼數據，但此方法在使用過程中，時常出現骨骼數據走樣的問題，因此在此次算法設計中網格中值平滑濾波方法[10-11]對骨骼數據展開處理，以此保證骨骼數據的提取精度。某關節點(x，y，z)作為濾波窗口的中心，并將相鄰的數據按照由大到小的順序排列，將排序后的中間值作為關節點(x，y，z)處的數據值。同時，將數據二維化處理，將關節點(x，y，z)轉化為關節點(x，y)，并使用高斯函數[12]對其進行計算，具體公式如下所示

(13)

通過上述公式，完成數據濾波過程。使用原有的網格數據提取方法作為設計藍本，將此濾波過程與原有數據提取方法相結合。在數據提取過程中，將濾波過程中涉及的數據采用矩陣的形式體現，則數據濾波過程可體現為

(14)

其中，N為網格數據濾波系數，則濾波矩陣可顯示為

(15)

使用此部分優化后的提取算法，結合上文中設計預處理部分，實現骨骼數據提取。至此，基于特征融合的下肢骨骼數據網格化提取算法設計完成。

3 實驗論證分析

3.1 實驗環境設計

在上文中介紹了基于特征融合的下肢骨骼數據網格化提取算法設計過程，在此部分中將上文提出方法應用于公共數據庫中，驗證方法對于實際問題是否擁有處理效果，并將其與文獻[3]方法、文獻[4]方法進行對比。在此次實驗過程中，將構建相應的實驗平臺以便于將所提方法與文獻[3]方法、文獻[4]方法應用于同一環境中，控制實驗中的變量，確保實驗結果的可靠性。因此，選定實驗平臺的硬件與軟件部分如下：

硬件：CPU: Dual-Core 2.66GHz

硬盤：1T

圖像捕捉設備：Kinect V1

顯卡：GeForce RTX 3090 GAMING OC 24G

軟件：控制系統：Windows8

數據庫：MY SQL 2016

編譯器：Visual Studio 2012

使用上述內容，完成實驗平臺的組裝工作，并將其應用于此次實驗中。將所提方法與原有方法所需的圖像預處理軟件以及數據處理軟件安裝其中。

3.2 實驗方案設計

在此實驗過程中，選擇動作數據庫作為研究的對象，為此次研究提供深入圖形以及3D骨骼動作數據。在此數據中包含10個類別的動作的運動數據，具體內容如下：draw x、draw tick、draw circle、hand clap、forward kick、side kick、higharm wave、horizontal arm wave，hammer、hand catch。使用所提方法與文獻[3]方法、文獻[4]方法對draw x、draw tick、draw circle、side kick、forward kick動作中的下肢骨骼數據進行提取，完成對比過程。

設定此次實驗中的對比對象分為3部分，分別為：提取結果準確率、數據預處理可靠性以及網格劃分精度，使用上述三部分完成方法與文獻[3]方法、文獻[4]方法的對比過程。并且對比文獻[3]方法、文獻[4]方法，在此次實驗過程中，將實驗環境設定為光感良好與光感不佳兩部分，以此提升實驗結果的真實性。

3.3 實驗結果分析

圖1 提取結果準確率實驗結果

通過上述實驗結果可知，所提方法與文獻[3]方法、文獻[4]方法對于骨骼數據均具有較高的提取率，但提取結果的準確性具有一定的差異。根據上述實驗結果可以看出，所提方法在兩種實驗環境中得到的提取結果準確率較高且穩定。對文獻[3]方法、文獻[4]方法在兩種不同的實驗環境中提取的骨骼數據準確性波動較大，由此可知看出，文獻[3]方法、文獻[4]方法對于原始圖像的要求較高，且適用性較差。綜合上述實驗結果可知，針對數據提取準確度，所提方法的使用效果優于文獻[3]方法、文獻[4]方法。

圖2 數據預處理可靠性實驗結果

對上述圖像進行分析可以看出，所提方法的使用效果明顯優于傳統方法。在骨骼數據的預處理中，所提方法在不同的環境下，均可得到較好的數據處理結果，且數據處理時長較短。文獻[3]方法、文獻[4]方法在兩種不同的實驗環境中對骨骼數據預處理后數據可靠性出現波動，且處理時間較長，對于后續的數據處理與提取具有一定的影響。使用所提方法完成數據的預處理工作不會對數據提取結果造成影響。

圖3 網格劃分精度實驗結果

通過上述實驗結果可知，在此次實驗過程中，三種不同的方法采用了不同的網格劃分精度。通過文獻研究可知，網格劃分密度對于數據提取精度具有一定的影響。當網格密度劃分過細時，數據提取精度得到提升，但計算速度下降；當網格密度劃分過粗時，數據提取精度較差，其計算速度得到提升但效果不佳。綜合分析可以看出，所提方法的網格劃分精度適中，且數據提取能力較佳。與此同時，所提方法可根據動作的特征，對網絡劃分精度進行調整。文獻[3]方法、文獻[4]方法網格劃分結果為固定精度，對于不同動作數據提取過程的適配性較低。由此可知，此方法網格劃分精度較佳。

綜合提取結果準確率實驗結果、數據預處理可靠性實驗結果以及網格劃分精度實驗結果可知，所提方法在使用過程中可獲得較好的實驗結果且其適配性較高，可使用此方法作為骨骼數據提取的主要方法。

4 結束語

人體的動作識別在計算機視覺領域中是一項具有挑戰性的重要研究項目。深度相機的出現與特征融合技術的進步很好地解決了下肢骨骼數據網格化提取算法在日常使用過程中的不足。為了更好、更精確地識別出人體動作，在此次研究中完成了基于特征融合的下肢骨骼數據網格化提取算法。通過算法測試可以看出此次研究設計結果具有一定的使用效果，在日后研究中可使用此方法提取人體下肢骨骼數據，為人體的動作識別提供更加精確的數據。