基于多分支LSTM 網絡的行為識別

羅毛欣 王天賦 白曉晨 周 達

(西安工程大學,陜西 西安710006)

1 概述

分析人類行為一直是機器視覺中最具挑戰性的問題之一[1]。行為識別技術的需求發展迅速,并已經擴展到許多領域,比如智慧城市和視頻理解[2]。盡管行為識別在過去被廣大學者進行了廣泛地研究,但動作識別仍然面臨著許多的挑戰,例如光線變化和背景遮擋。在深度學習技術[3]興起之前,傳統的手工操作的動作識別仍然占有很重的地位。同時,改進的密集軌跡(iDT)[4]通過整合沿著密集軌跡的豐富描述符和補償相機運動的運動特征,實現了優越的性能。然而,與傳統方法相比,其優勢并不明顯。最近,基于深度學習可以根據輸入數據的類型分為基于RGB 和基于骨架的行為識別方法[5],與基于RGB 的動作識別相比,基于骨骼的動作識別可以避免從視頻中提取特征的繁瑣任務。對于基于骨架的方法,可以簡單分為三個大類：二維和三維行為識別及LSTM方式。因此,本文在LSTM架構下構建了深度多分支LSTM 網絡來進行行為識別并且在所用數據集上已經取得了良好的行為效果。

在本文工作中,為了更有效的學習骨架坐標數據的特征,通過LSTM 有效的連接和交叉疊加,提取骨架坐標共現特征信息來行為識別。

2 數據集的數據預處理

為了更詳細地描述骨架關節信息以及方便所設計網絡框架更好的工作,我們需要對圖像數據集先進行進一步地處理。首先利用姿態估計框架openpose 和人體檢測模型YOLOV3分別檢測人體骨架。同時,YOLOv3 模型還可以對骨架圖像數據集標記一個動作類別。然后,以身體重心為坐標參考點(0,0),可以將關節的相對位置轉換為18 個關節點位置的xy 坐標。轉換后的數據集由骨架坐標(x, y)和與之相應的動作標簽(0,1,2,…)數字組成。

在本文中,我們使用了RGB 數據集和UTKinect 數據集。RGB 數據集包含很多對象的不同動作樣本。UTKinect 數據集有10 種動作類型: 坐下、走路、站起來、撿起、扔出去、推、拉、揮手、抬起來以及拍手的動作。并且有10 個實驗對象,每個實驗對象操作每個動作共計兩次。在實驗期間,我們選擇其中70%的數據集作為實驗的訓練集,并選擇其中30%作為實驗驗證集。與此同時,在這些驗證集中的80%又屬于是測試集。

3 深度多分支LSTM 網絡構建

以骨架的為特征選擇行為識別,每個關節與其它關節之間并非相互獨立的,恰好相反,關節與關節以及關節與動作之間是存在密切聯系的關系的,這種聯系對于行為識別提高識別率特別重要。因此,考慮關節與關節相互聯系并且以此為契機設計一個網絡能充分挖掘隱藏信息是網絡設計的關鍵。同時也出于對以下要點的考慮：LSTM 無法直接學習關節坐標特征的高級信息,同時所用的數據集并未攜帶上下文語義信息。這對直接用LSTM進行識別是不太準確的。因此,綜合上述因素同時為了減輕模型過擬合的問題,同時使LSTM更有效地學習坐標數據的共現特征,我們設計了一個基于LSTM 深度多分支LSTM網絡用于學習有效的特征并且對時域的動態過程建模,實現端到端的行為識別以及檢測。

圖1 基于LSTM 的深度多分支LSTM 行為識別框架圖

如圖1 所示,經過上述過程處理的人體骨架的十八個關節點坐標可作為整個網絡的輸入,多次經過深度多分支LSTM以及全連接層的多次輪換迭代,最后用softmax 分類器來進行行為分類。具體而言,圖中所示的網絡體系結構具有N 層的四分支LSTM結構,可以用于學習具有骨架關節的坐標信息,并與N-1個全連接層交錯,正是結構多次交錯出現,使得很多關節隱藏特征被學習以及進一步挖掘關節之間的各種聯系。可以明顯看見整個網絡后端通過LSTM 層和全連層(FC Layer)組成的深度LSTM 網絡(Deep LSTM Network),最后,將輸出的結果發送到Classification Network(softmax 分類器)以進行操作判定每幀的動作類別。同時整個網絡著重于人體行為動作的特點,于是我們在LSTM網絡設計中有意將人體行為動作中關節點具有的共現性特性引入進來,與此同時將其作為網絡參數學習的約束來優化整個網絡的識別性能。這是因為人的某個行為動作常常和骨架的一些特定關節點構成的集合,以及對應集合中節點是交互相關并且對識別效果影響起著關鍵作用的。(例如要判別一個人是否在打電話,關節點“手肘”、“手腕”、“肩膀”和“頭”的關聯動作是最為關鍵。)而對于不同的行為動作與之密切相關的節點集合又有所不同。(例如一個人“走路”的動作判別關鍵在于“膝蓋”、“腳腕”以及“臀部”等關節點構成具有判別力的節點集合是否能準備識別出來。所以我們可以將這種幾個關節點同時影響和決定判別的特性稱為共現性(Co-occurrence))。因此在網絡整個訓練階段,在目標函數中我們引入了對神經元與關節點相連的權重的約束,從而使得同一組的神經元對某些關節點或者說是關鍵關節點組成的子集有更大的權重連接,而對其它節點(非關鍵的關鍵點)有較小的權重連接,上述操作來進一步去挖掘關節點的共現性。

網絡整體優勢在于：一方面,本身LSTM充分利用了骨骼關節坐標之間的長期依賴關系,并且通過全連接層學習了關節坐標之間的全局共現特征。另一方面,在此基礎上,初始層使用多分支LSTM,使得同一數據的多個輸入成為一種優勢,這種優勢可以在數據增強中發揮作用,以此來減輕模型訓練期間過擬合,此外,在最后一層中又加了LSTM用于更好地學習骨架關節的坐標信息。正是因為上述各種LSTM層和全連接層這種交錯結構,使得模型達到了良好的識別效果。為了進一步驗證所設計網絡的行為識別效果,我們將在兩個數據集上進行實驗并進行相應的對比。本文主要研究了深度多分支LSTM網絡與其層數之間的關系,網絡層數的變化是否會引起模型泛化能力和網絡學習能力和相對應的變化,我們做了如下的參數：所有全連接層神經元個數為100；最初的四分支網絡的每一個分支的神經元個數設置為64,在交叉疊加的第二層LSTM 起,我們設置每一個LSTM層神經元個數為128。以此同時,優化算法采取Adam 算法；損失函數我們采用交叉熵損失,最后網絡訓練批次設置為300 以及批大小設置為128。

4 實驗結果與分析

表1 不同LSTM 層數的深度多分支LSTM 網絡性能對比

從上述表格可以明顯看出,二層的LSTM網絡在兩個數據集上的訓練準確率以及測試準確率效果都不是太好。而且隨著層數從2 到6 依次增加的過程中,訓練和測試識別率整個呈現出一個上升的趨勢,但也并非都是增加,如RGB 數據集上訓練準確率在五層就到達峰值,六層反而下降,這也說明了識別率和數據集本身特點有關,而且網絡層數不是越深越好,整個走勢應該是一個拋物線,當達到一定層數,增加不僅會降低識別率還會帶來復雜度大大增大,進一步導致網絡訓練時間增加以及其它各種問題。總之,在UTKinect 數據集上的6 層的LSTM的訓練和測試準確性分別達到94.11%和92.69%,而RGB 數據集上的6 層LSTM 的訓練和測試準確性分別達到92.45%和89.5%,這應該是相對于其他層識別率最佳的一種層數吧。其中原因可能如下：

深度多分支LSTM網絡結構使用LSTM與全連接的層結合的方式來學習全局共現特征,這可以使深度LSTM可以更好地對學習關節坐標之間的長期依賴關系。此外,相同數據的多個輸入可起到增強數據的作用。而且由于LSTM網絡對時間序列處理的強大能力,加上聯合共現特征判別分類設計,實現了快速準確的行為動作檢測。最后我們通過對每組神經元和關節點的連接加入相應約束來達到上述共現性的充分挖掘和利用。但是,因為所用的訓練數據集中的數據量特別少,尤其相對于目前常用的大型數據集(計算速度相對快一些)相比,因此難以完全優化深度多分支LSTM網絡,并且該網絡容易過度擬合。總之,多分支策略適當提高了行為識別的識別率。

5 結論

本文研究了基于骨架關節二維坐標的行為識別方法,并且我們以骨架數據為特征選擇的基礎上提出了深度多分支LSTM網絡結構,通過結構交錯重疊發揮挖掘關節隱藏信息的優勢,并且引入關節點共現性約束。并且在在實驗中比較了不同層數的網絡體系結構。實驗結果表明,所提出的模型可以提高兩個數據集的識別性能,并獲得好的結果,同時怎樣挖掘關節點之間的隱藏信息以及相互聯系會是未來行為識別的大勢所趨。