采用運動傳感器的人體運動識別深度模型

滕千禮, A.ESMAEILI KELISHOMI, 蔡忠閩

(1.西安交通大學智能網絡與網絡安全教育部重點實驗室, 710049, 西安;2.西安交通大學電子與信息工程學院, 710049, 西安)

目前,人體運動識別已成為人機交互和普適計算的關鍵研究領域[1],廣泛應用在日常行為分析[2]、手勢識別[3]、視頻監控中,但傳統基于視覺的人體運動識別容易受到環境變化、目標遮擋等多方面因素的干擾,存在采集成本高、識別精度低等問題。隨著移動終端的普及和傳感器技術的發展,通過內置在移動終端的加速度、陀螺儀[4]等運動傳感器獲取數據并推測用戶的常規運動狀態的方法,因其具有隱私保護、攜帶方便等特點得到了廣泛應用。

早期基于運動傳感器的人體運動識別主要采用傳統的機器學習方法,包括決策樹、支持向量機、隱馬爾科夫[5-6]等模型,此類方法通過人工提取時域、頻域特征[7]實現運動分類,進一步分析終端固定方式或位置對識別效果的影響[8]。然而人工提取的特征表征能力十分有限,需提供大量的先驗經驗以彌補數據挖掘的不足,模型嚴重依賴特征工程。在更為復雜的問題中,依賴人工提取特征不再現實,必須降低模型對特征工程的依賴。

得益于深度學習在計算機視覺[9]、自然語言處理領域的成功經驗,將經典的深度學習模型遷移到人體運動識別領域,成為新的研究熱點。Ronao等構建一維卷積神經網絡[10],分析網絡參數和網絡結構對分類效果的影響,準確率達到94.02%,但該方法的網絡層數較淺,難以挖掘樣本深層的隱含信息。Ordóez等采用全卷積網絡和長短期記憶網絡的混合模型對開關門、喝水等短暫性動作進行識別[11],該模型卷積部分采用相同的卷積核數,不利于高階特征的提取,并且全卷積網絡沒有池化層結構,缺乏對過擬合的控制,不適合于常規較長時間的持續性運動的分類任務。

本文提出一種改進的一維串聯卷積網絡和長短期記憶網絡復合的深層混合(VGG-LSTM)模型,并成功應用于跑步、走路等持續性的運動識別中,該模型能夠利用傳感器數據分層、時序的結構特點自動提取具有層次性、時序性的高維特征。通過實驗對比和其他數據集驗證表明,本文模型能夠有效提高運動的識別準確率,后續實驗進一步分析了網絡模型深度和復合網絡結構兩方面對識別效果的影響。

1 模型描述

1.1 VGG-LSTM模型架構

傳感器數據主要包括三軸加速度和三軸陀螺儀傳感器數據、類比圖像的RGB灰度矩陣,傳感器數據按時間排列并且具有六維的層狀結構,如圖1所示,圖中1,2,…,T表示時間順序。

圖1 傳感器數據的層狀、時序結構示意圖

深層的模型具有強大的擬合能力[12],與此同時由多種深度學習網絡復合形成的混合模型能夠利用傳感器數據分層、時序的結構特點,對數據進行更全面的挖掘。

圖2 VGG-LSTM模型架構圖

基于上述的考慮,本文提出一種復合、深層的VGG-LSTM混合模型,如圖2所示,混合模型主要由卷積部分和雙層長短期記憶網絡(LSTM)兩部分組成。卷積部分采用一種類似VGG16[12]模型的形式,將多個尺寸較小的卷積核串聯以取代較大的卷積核,這種形式一方面為模型提供更加豐富的非線性變換,另一方面可以增加模型深度,以提取高維特征。最大池化層實現特征降維,控制過擬合風險的同時保持平移不變性,上述過程中卷積與池化操作均為一維操作[10]。其中,將若干個串聯的卷積層以及一個池化層定義為一個卷積塊,模型可自由堆疊若干個卷積塊,經后文實驗分析,本模型中采用兩個卷積層串聯的卷積塊,并堆疊兩個卷積塊的形式。LSTM網絡部分接收卷積網絡的特征片段,結合長短期記憶進一步挖掘其中的時序特征。這樣的組合一方面可以有效地增加模型深度,另一方面可以充分挖掘數據的結構信息,進而實現人體的運動識別。

1.2 卷積神經網絡

卷積神經網絡著重關注局部信息,對輸入的每個樣本數據,逐步計算該數據及其鄰域范圍內數據和卷積核矩陣對應位置處權值的內積,形成下一層的特征圖。多核卷積可以有效提取更多的特征,并獲得與核數相同的特征圖數,有利于挖掘出高維度的隱含信息。一維卷積即卷積核矩陣為一維向量,其過程如圖3所示[10],下面以單核卷積為例介紹卷積模型的工作原理。通常將輸入層設為第0層

式中:M表示數據預處理后時間窗口的大小,卷積層的輸出為

i=1,…,M-φ+1

(2)

式中:f(·)為激活函數;b為偏置項;q為一維卷積核向量;φ為q的長度。

圖3 卷積神經網絡模型圖

為保證卷積前后的數據尺寸不變,這里選擇常用的0填充方式。卷積層后一般會接一個池化層,池化層實現特征類型的聚合,能夠降低特征空間維度,有效地控制過擬合風險。池化層與卷積層組合,可以給卷積神經網絡加入很強的先驗經驗[13]。池化層的輸出為

pj=max([c(j-1)R+1,…,cjR]),

j=1,…,M/R

(3)

式中:R表示池化窗口的尺寸。池化層的輸出即卷積網絡中卷積核學習到的特征圖p,多核卷積是指卷積過程中,多個卷積核并行進行上述工作,每個卷積核e均會對應生成特征圖pe。

1.3 長短期記憶網絡

長短期記憶網絡(LSTM)著重關注序列信息,可以對時間序列數據進行有效地理解分析。如圖4所示模型將卷積神經網絡部分輸出的一維特征圖依次首尾拼接,形成一維特征向量

s=[p1,…,pn]

(4)

式中:n表示卷積核數。

特征向量s進入全連接層處理,全連接層的輸出為

h=f(Ws+ε)

(5)

式中:W為全連接層的權值矩陣;ε為全連接層偏置項向量。

LSTM網絡是循環神經網絡的一個改進結構,通過增加輸入門、輸出門和遺忘門實現短期記憶的基礎上保持長期記憶。圖4給出了兩層LSTM網絡堆疊結構,每個圓圈代表一個完整的LSTM單元l,負責接受并處理序列信號。

圖4 雙層LSTM網絡模型圖

LSTM網絡的輸出依次送入N個節點的全連接層,其中N表示運動的類別數。全連接層的輸出結果經過多項邏輯回歸(softmax)層進行多分類回歸處理。假設全連接層的輸出結果,經過softmax層后最終輸出為

2 模型優化

2.1 目標優化

本文模型采用交叉熵代價函數,交叉熵描述兩個概率分布的距離,基于交叉熵的代價函數是深度學習在分類問題中常用的代價函數。

批處理塊(batch)[14]由訓練集均等劃分產生,是深度學習中常用的處理方法。若對整個訓練集上的累計誤差進行優化,參數更新頻率低,梯度下降緩慢;若對單個樣本的誤差進行優化,參數更新過于頻繁,且正負樣例可能出現抵消的現象。因此在數據量較大的情況下,深度學習任務中大多采用這種折中的方法,模型在批處理塊上進行優化,既保證了正確的梯度下降方向,又提升了收斂速度。

在上述過程中,本文選擇了自適應矩估計(Adam)優化算法[15],該算法是一種基于一階梯度的隨機優化算法,與普通的梯度下降算法相比,Adam算法不但實現了學習率參數的自適應調整,還對梯度進行校正,使用該算法訓練的模型通常具有較強的魯棒性[13]。

為了防止模型快速陷入局部最優,實驗采用較小的初始學習率,并通過多次遍歷數據集的方式增強模型的擬合能力,每遍歷一次訓練集,均隨機打亂訓練集的排序以提高模型的健壯性。

2.2 過擬合處理

深層網絡具有強大的學習能力,避免過擬合現象的出現在深度學習任務中尤為重要。上述提到的卷積部分中,池化層可以通過降低特征維度的方式避免過擬合現象,除此之外,本文模型中還采用了L2范數正則化、Dropout、早停的方法降低過擬合風險。

L2正則化方法在代價函數中增加對網絡復雜度的描述,這種方法讓模型參數在更新過程中傾向于選擇較小的權值,網絡模型趨向簡單化,從而達到降低過擬合的效果。采用L2范數正則化方法后的代價函數定義為

E=E0+λ∑θ2

(8)

式中:E0為樣本上的損失;θ為模型參數權值。

Dropout方法的主要思想[16]類似于集成學習中的Bagging算法。在每個批處理塊的訓練過程中,按一定概率(Dropout率)暫時忽略部分神經網絡節點,相當于每個批處理塊都在訓練不同的網絡,在測試過程中,模型開放所有節點。

早停的方法通過觀察一定訓練輪次內驗證集上的準確率指標沒有提升或是變差,則判斷模型恰好擬合,提前停止模型訓練。

3 實驗分析

3.1 數據集

實驗選取加州大學的人體運動識別數據集(簡稱HAR數據集)[17]。該數據集按照3∶1劃分訓練集、測試集,共包含30個用戶的10 299個數據樣本,每個樣本包含三軸加速度、陀螺儀傳感器數據,運動包括常見的步行、上樓、下樓、坐、站立、躺下6類,數據采集器放置在用戶褲子口袋中,采集頻率為50 Hz,數據集描述見表1。

表1 加州大學人體運動數據集

3.2 數據預處理

根據官方數據集的介紹,原始樣本按照128×6的窗口大小、50%的重疊率對原始數據進行分段生成實驗樣本,實驗樣本的標簽繼承分段前的母樣本。這樣處理不但可以獲得等長的樣本數據,也顯著地增加了樣本數。

實驗樣本在一個通道內進行如下的歸一化處理,各通道數據分布更加集中在激活函數的非飽和區,有利于模型快速收斂。通過后續實驗也驗證了使用歸一化處理的數據比不使用歸一化處理的數據的識別準確率更高。歸一化后的樣本輸出為

3.3 實驗設計

本文實驗基于谷歌開源的深度學習框架tensorflow[18]實現,tensorflow是目前主流的深度學習框架之一。由于深度模型的訓練通常較為耗時,參數調優工作量較大,因此本文在官方數據集提供的訓練集中進一步按照2∶1的比例劃分訓練集與驗證集,輔助調整模型參數,測試集為官方提供的原有測試集保持不變,最終實驗的訓練集、驗證集、測試集比例為2∶1∶1。實驗數據如2.1節中所述分批送入模型進行訓練,批處理塊大小為300個數據樣本。

設計實驗對本文提出的VGG-LSTM模型的運動識別效果進行評估,并進一步分析研究網絡模型深度和復合網絡結構對模型準確率的影響。最后將模型應用到同類數據集上重新訓練,驗證模型的適應性,實驗設計如下:

(1)VGG-LSTM模型運動識別評估實驗。表2中VGG-LSTM混合模型為本文提出的網絡模型,首先構建該模型進行訓練,表中卷積φ-n表示該卷積層的過濾器尺寸為1×φ,卷積核數為n,對訓練過程中模型的擬合程度進行分析,然后在測試集上進行分類實驗。

(2)模型結構對分類效果的影響。設計不同網絡深度和復合結構的深度模型,見表2,研究模型結構對識別準確率的影響,從兩方面進行對照實驗。其一,對比卷積層數遞增的混合模型A、B及VGG-LSTM混合模型,探究模型深度對識別準確率的影響。其二,設計卷積模型、雙層LSTM模型,與上述混合模型對比,探究模型復合結構對識別準確率的影響,LSTM模型結構相對簡單,并未列入表2。

(3)設計VGG-LSTM模型適應性驗證實驗。將VGG-LSTM模型在同類其他數據集上進行分類實驗,對該模型的適應性進行驗證。

3.4 結果分析

經過參數調優,3.3節中各實驗統一使用0.001的初始學習率,Dropout率為0.5,設置最大遍歷輪次為200,按照上述參數訓練模型以排除此類超參數對模型的影響。

(1)VGG-LSTM模型運動識別評估實驗的結果分析。圖5給出了模型訓練過程中模型的損失與準確率隨迭代次數的變化。訓練過程中驗證集損失持續下降,準確率持續上升,說明模型能夠對數據進行適當的擬合,有效地避免了過擬合現象。

表3給出了VGG-LSTM混合模型訓練完成后在測試集上得到的分類混淆矩陣,可以發現該模型對數據集中的多數運動可以進行有效的分類,平均準確率為97.17%,部分運動召回率和準確率達到100%。

混合模型主要是對坐與站立兩個運動的區分效果相對較差,導致模型在這兩個運動上的分辨效果下降,召回率和準確率在92%～93%范圍內,其主要原因為這兩種運動姿態同屬靜止狀態,動作變化小,傳感器數據無法提供足夠信息對兩者進行區分。

VGG-LSTM模型運動識別評估實驗的結果說明,本文模型能成功應用在采用運動傳感器數據的人體運動識別問題中。該模型避免復雜的特征工程,自動挖掘數據中的隱含特征,并且模型收斂迅速,識別的準確率高。

上述實驗結果與其他文獻中使用相同測試集的結果進行對比,見表4。在該數據集中,本文提出的混合模型平均準確率可以達到97.17%。

(2)模型結構對分類效果影響的探究實驗結果分析。按照表2所示分別構建卷積網絡模型、雙層LSTM模型、混合模型A、混合模型B,與本文模型進行實驗對比,采用平均準確率對分類結果進行評價,表5給出了模型在原始數據和歸一化處理數據上訓練得到的實驗結果,其中原始數據和歸一化數據如3.2節所述。

表3 加州大學人體運動數據集分類混淆矩陣

(a)損失 (b)準確率圖5 損失與準確率隨迭代次數的變化

方法平均準確率/%HCF特征[7]與神經網絡91.08HCF特征[7]與支持向量機94.61卷積與多層神經網絡[10]94.79頻域特征卷積[10]95.75本文模型97.17

表5 模型結構對平均準確率的影響

首先,對比混合模型A、混合模型B以及本文提出的VGG-LSTM混合模型的實驗結果,其中混合模型A、混合模型B以及VGG-LSTM模型如表2所示,卷積層數逐漸遞增,分類準確率也逐漸遞增。由此可以得出,無論對于原始數據還是歸一化處理后的數據,深度增加均能夠在一定程度上提升模型精度。此外,借鑒VGG16模型[12]的思想,本文模型采用多個卷積串聯的方式,為模型提供更豐富的非線性變換,提高模型對數據的擬合能力。表5說明了本文模型的識別準確率高于其他混合模型,但模型深度對準確率的影響不是單調的,在后續實驗中發現,進一步增加模型深度,不但可能會導致嚴重的過擬合現象的出現,甚至還產生了梯度消散,無法繼續訓練的后果。

其次,對比卷積模型、雙層LSTM模型以及多種混合模型的實驗結果,其中混合模型如表2所示,為不同結構的卷積網絡與雙層LSTM網絡的復合結構。表5的實驗結果表明,復合模型性能普遍優于單一的深度學習模型。卷積模型擅長處理局部的片段信息,LSTM模型擅長處理時序信息,由兩者復合獲得的混合模型可以綜合卷積模型和LSTM模型的優勢對傳感器數據的結構特點和時序特點進行更加全面的挖掘。

另外,表5也驗證了3.2節中數據歸一化的效果,通過對歸一化前后的數據進行多組實驗對比發現,對數據進行歸一化處理可以在一定程度上提升識別準確率。

模型結構對分類效果影響的探究實驗的結果說明,采用增加模型深度以及復合的模型結構的方式可以在一定程度上提升模型的性能,此外,對原始數據進行歸一化處理也有助于模型精度的提高。

在實際參數調優的過程中,本文模型采用相同的卷積核尺寸和池化尺寸,避免多層卷積過程中這兩類參數的多種組合。構建模型時可以綜合調整各層的卷積核數以及網絡層數,以控制模型對數據的擬合情況。在具體實驗過程中可選取比池化尺寸略小的池化步長,池化層輸出重疊覆蓋,有利于增加特征豐富性進而提升識別準確率。

表6 無線傳感器信息挖掘數據集分類混淆矩陣

(3)VGG-LSTM模型適應性驗證實驗的結果分析。選取同類的無線傳感器信息挖掘(WISDM)公開數據集[19],并采用相同的數據預處理方法得到36名用戶的16 890個數據樣本,按照2∶1∶1的比例劃分訓練集、驗證集、測試集,重新訓練模型并完成分類實驗,混淆矩陣及評價指標見表6,平均準確率達到96.53%,說明本文提出的混合模型具有良好的適應性。

4 結 論

本文提出了一種復合的、深層的VGG-LSTM混合模型,成功應用在人體運動識別問題中。通過實驗驗證了兩點,其一,針對傳感器分層、時序的結構特點,將卷積神經網絡與長短期記憶網絡模型進行復合,能夠有效地結合兩種模型的優點,對數據進行更為全面的分析和挖掘;其二,采用串聯的卷積層不但能夠有效地增加模型深度,還可以提供更加豐富的非線性變換,均有助于提升模型的性能。本文模型綜合以上兩方面優勢,并通過池化層、L2范數正則化、Dropout、早停等方法降低過擬合風險,避免了復雜的特征工程,并獲得了更高的識別準確率。本文模型在HAR數據集中平均準確率達到97.17%,并在其他同類數據集上進行驗證,也取得較好的結果,在基于傳感器數據的人體運動識別領域中,本文模型具有很好的準確性和適應性。