基于二維骨架運動特征向量的行為識別?

肖利雪 冀敏杰

（西安郵電大學計算機學院 西安 710121）

1 引言

隨著監控攝的普及，社會治安越來越依靠監控視頻［1］，因此計算機視覺成為大數據時代下的一個備受關注領域。其中人體行為識別已經成為計算機視覺領域中的熱點問題［2］。人體行為廣泛應用于行為監控［3］、體育比賽、老年人監護［4］以及健康狀況評估。其中，行為監控是一種典型的應用，常見的行為識別方法只要有兩種類：基于圖像分析［5～7］和基于可穿戴的傳感器設備［8～10］，由于后者對硬件的依賴性較高，成本開銷較大，本文采用了后者。

目前大量研究都是圍繞提高人體行為的識別率而展開的。為了取得較高的行為識別率，Oua?nane A 等［11］提出對視頻圖像的每一幀進行外觀形狀的特征提取形成一個特征袋，將特征袋與骨架特征相結合進行K-means特征融合，獲得攻擊性特征編碼序列，通過編碼序列對攻擊性行為識別。Pei Xiaomin等［12］提出時空特征融合深度學習網絡人體行為識別方法，采用多視角信息建立人體骨架幾何不變性特征，結合CNN（Convolutional Neural Net?work）［13］學習到的局部空域特征進行LSTM（Long Short Term Memory）網絡學習骨架空域節點之間的相關性特征，作用于時域的LSTM［14］網絡學習骨架序列時空關聯性特征，實現人體行為識別。M.Eichner 等［15］基于對Ramanan 圖形結構模型的擴展，采用圖像的邊緣信息和區域信息對人體上半身姿勢進行識別，準確地對人體運動姿勢進行描述。基于計算機視覺行為識別分析的特征提取最初主要采用的人體輪廓作為姿勢特征表達，而人體輪廓的提取主要描述了目標人物的整體運動特征，忽略了人體各個部位的細節變化所發生的行為動作，因而輪廓特征不能表達人體行為中各式各樣的行為動作。在進行人體行為識別分類時，采用統計學習理論基本上不涉及概率測度的定義及大數定律。它避免了人工神經網絡［16～17］等方法的網絡結構選擇、過學習和欠學習以及局部極小等問題。基于該理論發展的XGBoost［18～19］作為一種支持并行化的有監督模型算法已經被應用于各種數據的分類中［14～17］，其根本是邏輯回歸樹的集合，將所有樹的結果集合在一起作為最終的預測值，然而在數據采集中常常無法準確的控制視頻的幀長。因此在構建特征向量時會產生訓練樣本不平衡問題。因此采用w-XGboost 對人體行為進行識別。在人體行為識別中由于體形之間的差異相同動作骨架信息依然存在較大的差異，因此對人體骨架信息進行特征向量的構建實現人體行為的分類和識別。

越來越多的技術能夠實現從二維圖像中識別出執行人的骨架，2017 年卡耐基梅隆大學的研究人員公開了OpenPose［20］的人體骨架識別系統的原代碼，實現對監控視頻下的目標人物的實時跟蹤，它可以在RGB 視頻中捕捉到COCO 類型的人體骨架信息，同時可以提供場景中人體關節點（Joints）信息。本文充分利用了OpenPose 提供的二維人體骨架信息來提取有效人體運動特征構建運動特征向量。同時，采用改進后的w-XGBoost算法對人體行為進行分類識別。本文的主要貢獻：

1）提出一種基于二維骨架的運動行為識別算法，該算法在構建特征向量工程時只采用OpenPose輸出的人體骨架信息，而不需要采用硬件傳感器進行行為識別信息采集的輔助工具。

2）提出在創建運動特征向量時，引入伐里農算法［21］將人體運動變化程度進行向量特征的構建，還包括人體變化角速度和距離差，通過特征向量實現對人體行為的識別。

3）改進了w-XGBoost算法，通過對訓練樣本數量進行特征加權實現樣本的類別平衡，從而提高人體行為識別的準確性。

2 人體運動行為識別

2.1 COCO骨架模型

在OpenPose骨架提取中，采用COCO模式對視頻流進行2D 骨架進行提取，獲取人體關節點信息。人體骨架由18 個關節點，17 個肢體向量構成人體骨架圖如圖1所示。

圖1 OpenPose骨架信息圖像

讓S=（V，E）表示兩個人體骨架信息，其中V=｛v0，v1，…，v17｝表示的是關節點的位置集合，E=｛e0，e1，…，e17｝表示剛性肢體向量的集合。

定義1關節位置（Joint positions-JP），在第t幀視頻中第j 個關節點的位置可以定義為vj（t）=（xtj，ytj），關節點的位置定義為vi（t）=（xti，yti），其中j，i∈｛0，1，…，17｝。直接將關節位置隨著時間的變化作為行為的一種描述子。

定義2關節向量（Joint Vector-JV），對肢體的有效部分進行肢體向量提取，表示方式為eij（t），其中eij（t）=vj（t）-vi（t），其中j，i∈｛0，1，…，17｝。

2.2 數據預處理

由于環境復雜度回二維圖像的影響和人體自遮擋會導致OpenPose 在提取獲得的2D 人體骨架信息時產生數據缺失。因此在提取了人體骨架信息后需要對確實信息進行預測，本文采用三次數據預處理。

1）骨架信息數據清洗

針對復雜環境中出現人體骨架信息誤測，會出現多余的骨架信息，主要是將視頻流中多余的人或錯誤預測出的骨架進行清洗，獲取易于特征提取的視頻數據流。

2）攻擊者的自遮擋導致數據缺失

為了保留人體整體姿態不變采用人體對稱進行缺失值填充。

3）骨架信息缺失值預測

由于環境的復雜性導致關節點數據的丟失將會影響我們對攻擊性行為的特征分析和提取。在人體骨架提取中，數據的缺失是隨機的甚至會發生在相鄰的幾幀中，而且視頻流中骨架信息特征值是波動性較大的連續性變化，因此采用K 最近鄰（k-NearestNeighbor，kNN）算法進行缺失值預測，采用k=10作為最相近的臨近樣本預測數。

3 運動特征矢量的構建

通過OpenPose 獲得的人體骨架關節點之間存在較大的相關性如圖2，并且用關節點信息直接進行人體行為分類時由于身高、人與鏡頭的距離之間的不同會產生不同的特征向量，所以直接對關節點進行人體行為識別時需要對人體關節點進行歸一化處理，但這個歸一化的標準很難確定。

圖2 人體骨架關節點之間相關關系

因此，本文提出人體運動特征向量主要由關節環節之間角度變化和重心運動速度作為人體行為識別的特征向量。特征向量元素之間的相關關系如圖3所示。

3.1 人體重心計算

在視頻流中將攻擊者抽象成一個“質點”，而忽略攻擊者自身的形態變化，通過計算這個“質點”在視頻流中的位移變化信息來代表人的運動狀態信息。根據人體運動學原理，人體重心的位置隨人體的位移和姿態變化而發生改變。因此，在特征提取時我們用人體的重心來代表這個“質點”，將重心變化軌跡作為人體發不同運動時的運動特征點進行分析。根據人體重心變化和時序性運動軌跡特征，我們可以區分人體是在運動中還是處于靜止狀態。

圖3 特征向量元素之間的相關關系

定義3人體全部環節所受到的重力的合力的作用點叫做人體的重心。

伐里農定理［21］（varignon's theorem）：物體各部分相對于某軸力矩的代數和就等于該物體總重量對該軸的力矩。即：

其中，（xn，yn）表示人體重心坐標，Pm表示人體第m環節的點總重心的概率和環節重心的坐標。

3.2 人體運動角度變換

在視頻流中，攻擊者在每一幀中的姿態變化可以看作是攻擊者發出攻擊行為時的原子動作，通過對原子動作的分析，獲取攻擊者在發出攻擊時的變化特征。人體行為可以看作是幾個典型的關鍵幀組成，而其他幀都可以看作是這幾個關鍵幀的過渡。本文主要采用當前幀與過去的5 幀之間的骨架旋轉角變化特征對攻擊者進行攻擊性特征提取。針對當前幀和該幀的之前5 幀之間攻擊者的各個骨骼環節在時域和空域上的旋轉角變化最為攻擊性行為特征。人體運動時關節角度變化構建旋轉角：目標人物大臂和小臂夾角的角速度變化、目標人物大腿和小腿夾角的角速度變化、目標人物臀部中心到頭部的向量與豎直方向向量的夾角、身體與手腕呈現的角速度、身體與腳腕呈現的角速度。計算公式為式（3）、（4）：

其中，v1(t+1)-v1(t)＞0 表示以視頻幀的右側為正方向，而v1(t+1)-v1(t)＜0 表示以視頻幀的左側為正方向。

4 w-XGBoost算法

在交互行為識別的過程中，通常會根據特征描述的數據特征點進行識別方法的判斷與選擇。在本文中，采用w-XGBoost 對特征向量進行分類訓練。XGBoost算法是對XGBoost算法的加權平衡樣本數量的改進算法，采用樹形結構對構建的特征向量進行分類。在訓練模型時由于在采集數據時視頻中人的動作數據的時長無法限定，因此采集的樣本存在樣本不平衡的問題，對此問題采用樣本加權對樣本特征的平衡性進行修正。

Step1：獲取視頻流人體骨架信息關節點信息；

Step2：對骨架關節點信息進行攻擊性行為特征向量的構建；

Step3：對于多分類樣本種類數量不平衡問題進行種類加權，其中N 表示樣本種類，nkind表示這類的樣本數量，Mˉ表示樣本平均數；α為經驗值，一般為1.5。原理如式（5）～（7）：

5 實驗結果

為了驗證特征向量的有效性，本文采用兩個常用的視頻行為分析數據集Weizmann和KTH。數據集Weizmann 包含數據庫包含了10 個動作（bend，jack，jump，pjump，run，side，skip，walk，wave1，wave2），每個動作有9 個不同的樣本。視頻的視角是固定的，背景相對簡單，每一幀中只有1 個人做動作。數據庫中標定數據除了類別標記外還包括：前景的行為人剪影和用于背景抽取的背景序列。數據集KTH 數據庫包括在4 個不同場景下25 個人完成的6 類動作（walking，jogging，running，boxing，hand waving and hand clapping）共計2391 個視頻樣本，是當時拍攝的最大的人體動作數據庫，它使得采用同樣的輸入數據對不同算法的性能作系統的評估成為可能。數據庫的視頻樣本中包含了尺度變化、衣著變化和光照變化，但其背景比較單一，相機也是固定的。圖4 表示Weizmann 數據集上的骨架識別結果。圖5 表示KTH 數據集上的骨架識別結果。

圖4 Weizmann數據集上的骨架識別結果

圖5 Weizmann數據集上的骨架識別結果

本次實驗采用w-XGBoost 算法對人體行為特征進行識別，采取交叉驗證算法對數據庫進行測試是實驗。實驗所用計算機硬件配置為Intel（R）Core（TM）i7-6700HQ CPU @ 2.60GHz 2.59GHz，8 GB內存，軟件環境為64 位Windows10 操作系統下使用Visual Studio 2015平臺上完成。

5.1 評價指標

實驗中，同時采用精確度（Precision）、召回率（Recall）和F 值（F-measure），支持數（support）4 個評價指標對所改進的算法進行了有效性評價。精確度表示算法對動作預測的準確比例，一般來說正確率越高，分類器越好。召回率表示覆蓋面的度量，度量有多個正例被分為正例。F 值是一種綜合評價指標，是精確度和召回率的加權調和平均值，F值越高說明實驗方法越有效，支持數表示每種行為樣本數量。如式（8）～（10）所示：

對于二分類問題來說，TP 對應于被分類模型正確預測的正樣本數；FP 對應于被分類模型錯誤預測為正類的負樣本；FN 為對應于被分類模型錯誤預測為負類的正樣本數。這些公式可以推廣得到多分類問題中。

表1 真實數據集信息

5.2 算法性能比較

為了驗證構建的特征向量的有效性，本文選擇XGBoost算法和w-XGBoost算法進行比較。對于每個數據集采用XGBoost 算法中自帶的交叉驗證算法，實驗采用學習率為0.15，邏輯回歸樹的最大深度為12，采用60%數據集進行采樣訓練。注意在此過程中保持各個集合中的數據類別比例與原數據集相同，實驗結果分別如表2所示。

由表2 可以看出將w-XGBoost 分類模型應用于人體行為識別，在Weizmann 數據集和KTH 數據集上F 值整體評估達到94%，同時準確率和召喚率也都較高，試驗結果表明采用w-XGBoost分類模型方法在人體行為識別分類上具有很好的分類效果。相較于XGBoost 分類算法模型，本文提出的算法能夠實現對視頻樣本特征向量的平衡，行為識別準確率達到94.以上。

6 結語

本文提出了基于二維骨架運動特征向量的行為識別。首先，采用傳統的機器學習算法對人體骨架缺失信息進行預測填充獲得完整的骨架信息。然后，對人體骨架信息進行特征向量的構建，主要分析人體運動時關節之間的角度變化和人體運動時重心的變化。最后，對于視頻流中獲取的特征向量個數進行平衡，采用改進的w-XGBoost分類模型實現對人體行為的分類。實驗表明本文提出的運動特征向量和改進w-XGBoost 對能夠有效地對人體行為進行識別。

表2 XGBoost和w-XGBoost算法在數據集Weizmann和KTH測試結果