基于三維骨骼節點的人體行為識別方法*

楊賽烽,高 彬,馮仕民*,丁恩杰,陳慶峰

(1.中國礦業大學物聯網(感知礦山)研究中心,江蘇 徐州 221116;2.中國礦業大學信息與控制工程學院,江蘇 徐州 221116)

人體行為識別是目前計算機視覺與模式識別領域的一個熱門研究方向,其廣泛應用于智能視頻監控、運動行為分析、人機智能交互、虛擬現實等領域[1-3]。利用傳統的視頻序列、二維圖像信息進行人體行為識別容易受到光照、陰影的影響,識別準確率普遍較低的劣勢越加明顯。由微軟推出的Kinect體感設備可以有效的避免受到光照、環境等因素的影響,其卓越的深度感知能力和人體三維關節點識別能力使得基于關節點信息的人體行為識別成為了熱門研究方向[4]。同時傳統的行為識別算法著重于行為模型的深度調優,但是在當前大數據及人工智能的背景下,隨著數據的急速增長,目前來看存在數據存儲空間不足、識別效率不高及擴展性不強等問題[5]。

Hadoop是由阿帕奇軟件基金會開源的一個分布式系統基礎架構,該架構中實現了一個分布式文件存儲系統,又稱HDFS。HDFS可以通過擴展節點的方式增加數據存儲容量,不僅可以自動保存數據的多個副本,自動將失敗的任務重新分配,還可以動態的在節點之間通過網絡傳輸的方式確保不同節點間數據的動態平衡。

Spark是加州大學伯克利分校AMP實驗室所開源的基于內存的并行計算框架,其基于內存的彈性分布式數據集模型大大提高了分布式計算的效率,對數據密集型的算法迭代計算具有非常大的優勢。

因此本文在研究行為識別表示方法的基礎上,出于對行為識別方法實用性及擴展性的考慮,將行為識別方法與Spark計算框架結合進行人體行為識別的探索。

1 實驗系統框架

為了方便后續實驗,本文實現了一個完整的人體行為識別實驗平臺。

圖1 行為識別實驗系統總體架構圖

首先通過Kinect獲取人體關節點數據,在PC端將采集的數據寫入本地,并根據行為類別進行分類標注,處理完成之后將數據上傳到HDFS文件系統中以備訓練輸入和識別輸入。

HDFS作為識別系統的文件存儲模塊,存儲著關節點數據、數據預處理的特征數據以及最終的行為分類結果,方便PC端調用的同時為上層Spark計算框架提供數據支撐。

Spark作為整個系統最上層部分,同時也是最重要的部分,主要包括了對數據預處理、特征轉換與特征提取、行為分類模型訓練和最終的結果預測。其中數據預處理會通過相似度判別過濾失真數據,接著根據行為表示的定義方法對關節點數據進行特征轉換與特征提取并寫入到RDD中。在以上基礎上,利用行為分類器對數據進行訓練。當需要對未知行為進行預測時,從HDFS中提取已有持久化的分類器模型完成行為數據的最終分類并將結果持久化到HDFS中。

2 特征提取及行為表示方法構建

2.1 基于關節點信息的特征提取

對Kinect采集到的20個三維關節點坐標進行行為特征提取時選擇的特征量應滿足平移不變性及縮放不變性,角度特征很好的滿足了以上兩個條件。為了方便計算角度將20個關節點分別用“A”-“O”進行標記,對應關系見圖2,其中A(Head),T(HandLeft),P(HandRight),L(FootLeft),H(FootRight)5個關節點由于會發生抖動現象[6],所以并未使用。

圖2 關節點標記圖

從其他15個行為關聯度較大的關節點中提取14個角度值,包括上肢角度特征和下肢角度特征,在此基礎上增加了部分關節點向量與x,y軸所成的11個角度特征[6-7]。上肢角度主要表示手臂的行為,下肢角度特征主要表示腿部的行為。對于部分關節向量與x,y軸夾角表示人體在可視距離內與Kinect的偏離程度,比如左臀部與右臀部向量與y軸所成的夾角定義為αID_Y。本文一共提取了25個這樣的角度特征,所有關節角度如表1所示。

表1 25個角度特征

2.2 行為表示方法的構建

2.2.1 關節點角度特征變化序列

一個完整的動作包含了若干個靜態幀,一個運動序列的每一個靜態幀角度特征變化容易表達出人體運動行為的變化趨勢[8]。在跳躍過程中,可以將關節角度特征隨時間的連續性而產生的變化轉化為一個變化序列。比如定義一個跳躍序列中每一幀的左膝關節角度特征集合為:

S=(αJK_JI1,αJK_JI2,αJK_JI3,…,αJK_JI25)

(1)

則角度特征變化序列可以理解成集合中前后兩幀角度特征的差值,如式(2)所示:

V=(αJK_JI2-αJK_JI1,αJK_JI3-αJK_JI2,…,αJK_JI25-αJK_JI24)

(2)

2.2.2 基于余弦相似度的關鍵幀提取方法

在連續時間內提取足夠表示人體行為的關鍵靜態幀序列用以構建動態行為是常用方法。韓旭[9]使用直方圖相似度的方式遍歷整段數據幀得到關鍵幀的集合,金澤豪[10]分析了人體運動過程中角度和距離變化的總差異提出基于結構相似度的關鍵幀搜索方法,減少了搜索時的計算量,提高了搜索效率。

本文在上述基礎上提出了一種基于余弦相似度的關鍵幀提取方法。余弦相似度作為一種計算個體間相似度方法,對低維和高維數據都有很好的相似性度量效果,被廣泛應用于機器學習,圖像識別等領域[11]。使用余弦相似度差異作為關鍵幀搜索策略,將人體關鍵幀視為空間中的向量,通過計算向量間的余弦相似度,提取動態行為過程中的關鍵幀。計算過程如下:

對于空間中n維向量a,b,假設a(x1,x2,x3,…,xn),b(y1,y2,y3,…,yn),則多維向量a,b之間夾角的余弦如下:

(3)

本文以每一幀的25個角度特征作為空間中一組向量,計算了站立與坐、蹲、躺三者余弦相似度,結果如表2所示。對比實驗結果表明,通過控制相似度閾值可以對動態行為關鍵序列進行有效的提取。

表2 4種行為幀余弦相似度對比表

2.2.3 基于余弦相似度的關鍵幀提取方法實現

首先將動態行為的首幀關節點數據作為第1個關鍵幀數據,提取的25個角度特征組成的多維向量即可當作第1個關鍵幀向量,此關鍵幀向量與后面的幀數據轉成的角度特征向量進行對比,將相似度小于給定閾值大小的幀向量設置為新關鍵幀向量,繼續作為樣本與后面幀數據進行對比。具體步驟如下:

①設置相似度閾值T,記錄關鍵幀的數組為keyFrame[n],其中n為動態行為關鍵幀數。初始化循環變量i=0,將起始幀作為關鍵幀保存到keyFrame[0],并將第2幀記為當前幀;

③如果兩幀相似度S大于閾值T,移動到下一幀,標記為當前幀,判斷是否到達幀尾,到達幀尾轉向步驟④,未到達幀尾繼續步驟②。

④結束流程,提取keyFrame[n]作為動態性關鍵幀序列。

方法流程圖如圖3所示。

圖3 關鍵幀提取流程圖

2.2.4 行為表示方法的構建

結合上述分析,本文使用基于余弦相似度提取的動態行為關鍵幀角度特征變化序列構建動態行為表示方法,定義如下:

若一組動態行為關鍵幀的角度特征為:

G=(M1,M2,Mi,Mi+1,…,Mn)T

(4)

式中:Mi=(αi1,αi2,αi3,…,αi25),Mi+1=(αi+11,αi+12,αi+13,…,αi+125)。

則對于動態行為的表示序列有:

筆者通過百度、搜狗、豆瓣網，在各大報刊上發布的《2011年網絡十大流行語》以及《2011年十大網絡新詞》的基礎上進行進一步的統計，發現2011年的網絡流行語主要有以下詞匯：

F=(P1,P2,Pi,Pi+1,…,Pn-1)

(5)

式中:Pi=(αi+11-αi1,αi+12-αi2,αi+13-αi3,…,αi+125-αi25)。

3 行為識別模型建立及實驗結果分析

3.1 行為識別的隨機森林模型建立及實驗結果分析

3.1.1 自建人體關節點實驗數據集

目前比較流行的MSR Daily 3D、MSR Action 3D和MSRC-12數據集運動幀數較少,不滿足某些模型訓練需要的數據多樣性,數據集中行為幀的數量不等,不利于觀察運動歷史圖像的動作變化細節[12]。所以本文花費了大量時間自建行為數據集,并用該數據集完成實驗。

本論文采集了8個男生,7個女生共15人進行的10種人體常見行為關節點數據,如打電話、鼓掌、喝水、跨越障礙物、拋物、伸懶腰、原地跳躍、坐下、站起、坐下-站起。每人每種行為依次在實驗環境下各采集5～10次,所有動作都是站立時完成,喝水、打電話、拋物等動作根據被測者習慣隨機使用左手或者右手進行。

3.1.2 基于隨機森林的人體行為識別建模與實驗結果分析

本文用于行為識別的隨機森林算法建立在基于Spark運行的分布式機器學習算法庫MLlib上,所有的示例及算法程序均采用scala語言進行開發。進行人體行為識別建模時,首先要手動確定隨機森林中幾個重要參數:①numTrees:隨機森林中決策樹的個數,需要手動調試;②maxDepth:隨機森林中決策樹的深度,需要手動調試;③maxBins:可以將連續的特征離散化的最大分箱數,使用默認值32;④Impurity:節點分裂的方法,回歸情況下使用方差,分類情況下使用信息熵或者基尼指數。

一般來說,隨機森林在不考慮其他影響條件下樹的數目越多,分類效果越好。我們首先在樹的個數為200時計算行為分類準確率隨樹的深度變化。如圖4所示。

通過實驗發現,當隨機森林中樹的個數為200時,每棵樹的深度在10之后分類準確率會趨于穩定,對于行為數據集分類準確率達到很好的效果。

確定好深度之后,我們需要再比較下隨機森林中樹的個數對行為模型精度的影響,圖5為決策樹深度為10時,樹的數目對模型分類準確率的變化過程。由圖可發現,隨著隨機森林中樹的個數增加,分類準確率會逐漸平穩并在一定的誤差范圍內波動。分析波動原因是隨機森林在進行建模時樣本及特征隨機選擇造成了一定誤差。

圖4 動態行為分類準確率隨深度變化值

圖5 動態行為分類準確率隨樹的個數變化圖

本文在相對穩定的區間進行參數選取,同時考慮到分類模型的復雜程度與運算時間,最終采用100棵決策樹,最大深度為10進行建模。向集群提交程序并運行。動態行為識別結果百分比混淆矩陣如圖6所示。

圖6 隨機森林對動態行為識別結果混淆矩陣

雖然平均識別準確率達到了91.8%,但是在相似動作上如喝水與打電話、坐下-站起與原地跳躍誤判較多。提取誤判最多的原地跳躍與坐下-站起動作的關鍵幀進行觀察,發現兩種動作關鍵幀的變化過程非常相似。說明本文中的關鍵幀提取方式在對相似度極高的兩種行為進行關鍵幀提取時存在一定的局限性。

圖7 坐下-站起關鍵幀建模圖

3.2 多重隨機森林加權大數投票算法

為了提升動態行為分類模型泛化能力,進一步提高行為識別的準確率,本文借鑒隨機森林的集成學習思想,利用基于內存計算的Spark平臺及該平臺下算法并行且快速迭代的特點,提出了一種多重隨機森林的加權大數投票算法用于人體行為識別。該算法核心思想是以多個優秀的隨機森林模型為基分類器組合而成的多重隨機森林來達到提升隨機森林模型泛化能力的目的。

將根據不同優秀參數組合(本文中以樹的個數和樹的深度為參數組合)訓練好的若干隨機森林模型按照線性排列組成多重隨機森林模型持久化到HDFS后,即可進行多重隨機森林加權大數投票。

算法的具體步驟如下:

①從HDFS中讀入已經訓練好的多重隨機森林模型,測試數據集D,并轉換成RDD;

②獲得多重隨機森林中每一個子隨機森林模型對測試數據集D的預測率,將所有預測結果放入以整型數為K值,以預測率為V的Map集合中,如下所示:

P_Map=[[x1,p1],[x1,p1],[x2,p2], [x3,p3],…,[xi,pi]]

(6)

式中:pi為第xi個隨機森林對于測試數據集D的準確率,并作為權重值使用;

③將P_Map作為廣播變量廣播到各個計算節點;

④取出測試數據集D中的一個表示人體行為的特征向量M;

⑤創建一個所有數據均為0的數組,該數組長度由行為類別總數決定。假設分類數為n種,則創建一個長度為n,數據全為0的定長數組Array。將特征向量M通過第i個隨機森林模型,判斷模型對M的預測值。如果第i個隨機森林模型預測特征M表征第n種人體行為,則對數組Array進行更新,將下標為n-1的數據值加上pi。依次將特征向量M通過每一個隨機森林模型,進行判斷所表示行為類別,并更新數組Array所在下標數據加上該隨機森林預測權重值。具體過程如圖9所示。

圖8 原地跳躍關鍵幀建模圖

圖9 多重隨機森林加權投票過程

⑥取出數組Array最大數所對應的下標值,即為特征向量M在多重隨機森林加權大數投票算法中的最終分類標簽;

⑦重復步驟④～步驟⑥,直至測試數據集D中所有特征向量識別完畢。

3.3 多重隨機森林加權大數投票模型建立及實驗分析

為了獲取最佳的模型組合,通過設定隨機森林中樹的個數以及樹的深度的雙層循環來訓練數據,根據總體準確率進行倒序排列選擇優秀參數組合。循環參數范圍選擇規則如下:①對于樹的深度我們選取結果比較穩定的(10,20)這個區間;②隨機森林中樹的個數太少,會使結果不具代表性,樹的個數太大又會使模型太過逼近訓練數據的分布,反而喪失了在預測時的準確率。文獻[13]建議,隨機森林分類性能最接近最優時樹的數量為100左右,同時考慮模型的復雜程度與運算時間,我們將樹的個數選擇在了(80,120)之間。

確定好參數范圍,對數據集的訓練可以得出多個優秀的參數組合。本文根據準確率取最高的前30個優秀參數組合作為多重隨機森林加權大數投票算法的基分類器進行觀察。圖10為隨著基分類器個數的增加動態行為的識別準確率。

圖10 基分類器個數的增加動態行為的識別準確率

圖11 多重隨機森林加權大數投票算法對行為 識別結果混淆矩陣

可以看到隨著基分類器個數的增加,行為分類準確率顯著增高,基分類器個數在5個以后識別準確率趨于穩定,行為識別準確率高達95%以上,但是依然存在微小波動,分析波動原因是對于某些難以辨別的行為進行識別時,引入的新基分類器對其識別權重較大,造成最終的行為識別準確率波動。

實驗中采用前5個優秀參數組合訓練出的模型作為基分類器,得到如圖11混淆矩陣。

觀察圖12發現,多重隨機森林加權大數投票模型對各個動態行為分類的判別方面優于單一隨機森林模型。尤其是對誤判較為嚴重的坐下-站起動作識別率遠高于單一隨機森林模型。同時發現投票模型在對原地跳躍動作識別率略低于單一隨機森林模型。分析原因是引入某個新分類器時,該分類器對原地跳躍動作誤判權重較大引起投票模型誤判。

圖12 兩種算法對動態行為識別準確率對比圖

總體來講,多重隨機森林加權大數投票對于動態行為分類效果較好,分析原因是使用多組最佳參數組合使波動誤差縮小,同時加權投票機制使最終決策更加穩定。但是在實際的應用中,隨著基分類器個數增多,模型訓練及行為識別過程中時間消耗也會越多,應當根據實際場景去選擇基分類器的個數。

4 基于公共數據集的實驗結果分析

由于MSR Daily 3D數據集中運動幀數較少,不滿足隨機森林模型訓練需要的數據多樣性。因此將本文建立的數據集全部作為訓練數據,選取了MSR Daily 3D數據集中與本文數據集中共有的站立時喝水、打電話、拋物、坐下、站起等行為使用本文行為表示方法,利用本文提出多重隨機森林加權大數投票算法在5個基分類基礎上進行加權投票識別。

最終的識別準確率如下表3所示,動態行為平均識別率達到了82%。對比同樣在基于Kinect采集的MSR Daily 3D數據集上進行的相關研究,文獻[14]采用K-均值聚類算法提取運動過程的關鍵幀,將關鍵幀關節點位置與人體剛體部分之間的骨架角度兩種特征作為行為的表達,利用支持向量機進行分類識別,最終的平均識別率只有62%。文獻[10]分析了人體運動過程中角度和距離變化的總差異提出基于結構相似度的關鍵幀搜索方法,采用并行化神經網絡算法進行行為識別,動態行為平均識別率只有77.69%。

實驗結果中打電話和拋物識別率較低,分別只有60%和70%。觀察MSR Daily 3D數據集中打電話和拋物行為視頻圖像及行為關節點數據建模的運動軌跡發現,該數據集中部分行為隨機性較大,且沒有體現出行為運動歷史圖像的變化細節。例如部分被測對象進行打電話時伴隨著轉身和走動,且起始幀時手部已經貼在耳旁,導致行為表示階段提取到的用于識別的關鍵幀與本文數據集用于訓練的行為關鍵幀差別較大,造成了識別誤差。而對于該數據集中體現了完整運動歷史圖像的行為如喝水、坐下、站起等具有較佳的識別能力。

為了進一步證明本文提出的行為識別方法的可行性,本文還在MSRC-12數據集上進行實驗,動態行為最終平均識別準確率為78%。文獻[15]采用隨機森林算法進行動作分類,同樣在MSRC-12數據集上進行測試,平均識別準確率為67.3%,對比可知本文方法識別準確率更高。

表3 MSR Daily 3D數據集行為識別準確率

5 總結

本論文對Kinect獲取的空間關節點數據進行分析,構建了基于關節點信息的人體行為表示方法,結合SparkMLlib實現的隨機森林進行了人體行為識別的研究。實驗結果表明本文提出的關鍵幀提取方法與基于多重隨機森林加權大數投票算法對人體行為識別具有較佳的效果。