混合神經網絡模型在人體活動識別中的研究

吳海濤 陸志平 胡晨駿

(南京中醫藥大學人工智能與信息技術學院 江蘇 南京 210046)

0 引 言

人體活動識別(Human Activity Recognition， HAR)[1]是指根據傳感器得到的時序數據，將活動分類為已知的預定義的人體活動類別。在當前可穿戴設備飛速發展和大量應用的情況下，采集的人體活動和生命體征等數據越來越精確，從而使得人體活動信息的捕獲質量和HAR的精度越來越高。HAR精度的提升對健康監視系統、遠程醫療保健、人機交互、康復醫療等領域有重要的意義[2]。例如：文獻[3]總結了可穿戴設備數據在慢性病預防與管理上的應用，指出有效的數據反饋能夠增加人體活動、增強患者健康、改善疾病預后、降低醫療費用并幫助臨床使用者做出醫療決策；文獻[4]提出一種集成式傳感器網絡——CareNet的架設，并用于遠程的健康護理和醫療保健；文獻[5]總結了無線傳輸的傳感器網絡在康復醫學上的應用，指出傳感器反饋的信息能夠幫助進行康復訓練的患者即時監測，這些信息在幫助矯正康復姿勢的層面上也有研究價值。

雖然通過視頻采集也能夠進行人體活動識別，但是，隱私保護、采集盲點、道德倫理等問題使得這種形式的信息采集存在諸多缺陷，應用場合也有諸多限制。文獻[6]提到可穿戴式健康監測系統在進行實時監護時具有對人體的非介入性和無創性等優點，可見，HAR在規避隱私保護等問題的同時，確保了采集信息的準確性和采集對象的安全性。HAR的相關研究不僅需要考慮技術和應用方面的問題，也需要考慮隱私保護等社會問題。因此，本文基于傳感器進行人體行為識別的研究。

健康手環、智能手表等設備都可以作為HAR提供數據的傳感器。常用的HAR傳感器有三軸加速度傳感器、陀螺儀和地磁場傳感器等慣性測量單元(Inertial Measurement Unit， IMU)、心率傳感器和溫度傳感器等，這些設備體積小巧，能夠方便地嵌入到可穿戴設備中，提供用戶的各種生理指標。傳感器數據的多樣性提高了HAR的準確性。

經過不斷發展的神經網絡在解決HAR任務上有獨到的優勢。本文綜合考量了神經網絡中卷積神經網絡與循環神經網絡的優點，設計了CNN-GRU混合模型并予以改良，以便自動提取傳感器數據的特征并加入對時序依賴問題的考慮，實現對基礎人體狀態與常見康復保健活動的辨識。

1 相關工作

1.1 人體活動識別解決方案

采用神經網絡進行人體活動識別的流程大致分為數據采集、數據預處理和訓練并驗證模型三個步驟，如圖1所示。

圖1 人體活動識別研究流程

采用神經網絡進行人體活動識別屬于深度學習中的多元分類任務，數據采集工作必須以預定義活動類別為基礎。在實驗室環境中，一名或多名受專業訓練的測試者按一定的規范完成一系列完整的指令活動，并采集與之相關的數據，采集完成后根據實際活動和其發生的時間節點對數據進行標注。

數據采集中難免會產生錯誤數據，例如，利用無線技術遠程記錄數據，數據集可能因通信干擾等問題產生缺失值，從而影響模型訓練的結果，而數據預處理可使模型訓練得到更為精確的結果。數據預處理將通過線性插值等方式填充數據或簡單剔除無效數據。此外，提供模型訓練的數據若不夠充足，需要數據增強以擴充樣本容量，樣本數據的增強可使用添加高斯噪聲的方式進行處理。同時，數據需調整至指定維度才能作為模型的輸入。動態滑動窗口方法可有效應用于人體活動識別的數據處理中[7]。該方法要求確定滑動窗口的大小和步長，并使每個窗口與特定活動相關聯。一個滑動窗口代表一段時間的活動數據，且一般不將相鄰窗口重疊。較小的滑動窗口用于簡單的瞬時活動辨識，且不需要太大的運算開銷[8]。動態滑動窗口方法能夠使數據集的維度符合模型輸入的要求。

將完成預處理的數據集按比例劃分為訓練數據集和測試數據集，訓練數據集用于模型的訓練。模型訓練的效果既取決于訓練數據集的可靠性，也取決于采用的機器學習算法。傳統的機器學習算法如支持向量機、決策樹、隱馬爾可夫模型等，在人體活動識別上已有廣泛的應用[9-10]。但是這些方案過度依賴于傳感器數據特征的全面性和深層的專家領域知識，操作難度大且泛化能力弱。而神經網絡作為人工智能的分支迅速發展，使得HAR問題的解決不需要特征工程的相關知識。

1.2 人體活動識別的神經網絡模型

鑒于傳統機器學習算法的局限性，本文采用神經網絡研究人體活動識別。神經網絡既能避免上述繁瑣的問題，又兼具有良好操作性和準確性[11]。神經網絡仿真人類大腦的運作模式，以人工神經元為基本單位，基于張量運算模擬人類神經元的信息傳導，以實現對輸入信息的處理和反饋[12]。基于神經網絡的機器學習又稱深度學習，是當今成長最快的人工智能分支。

神經網絡的激活函數用于模擬神經元對事件觸發的響應，具有生物學上的意義。常見的神經元激活函數有四種，如表1所示。

表1 四種常見的神經元激活函數

神經網絡使用反向傳播與梯度下降使損失函數的結果最小化以獲得更佳的神經網絡模型，期間權重與偏差參數不斷更新。得到訓練完成的模型后，將特征數據輸入至參數固定的神經網絡，通過多層神經元模擬而成的感知，得到對應的結果標簽。

神經網絡中最常見的卷積神經網絡(CNN)[13]利用卷積核強化特征并降低噪聲，目前已在圖像識別中廣泛應用。卷積核的本質是矩陣，卷積層通過卷積核與樣本數據矩陣的卷積運算采樣，將一個矩陣經過卷積運算后產生多個矩陣，以達到提取特征的目的。池化層起到了縮減采樣的作用，有效地縮小了矩陣的尺寸，減少了總參數量，加速了CNN的運作。常見的池化操作有最大池化和平均池化。卷積與池化操作在提取樣本數據細微的局部特征上具有獨到優勢。

一般的CNN由多個卷積層和池化層線性堆疊，以獲取更細微的特征。線性堆疊后，將網絡的輸出再通過平坦層展開連接至全連接層，最后與輸出層的預定義標簽對應。展開的卷積神經網絡即參數共享的深度神經網絡，在特征提取上已有顯著應用。特征提取是解決HAR問題的關鍵，因此卷積神經網絡能很好地應用于HAR，并獲得較高的準確度。卷積神經網絡的原理如圖2所示。

圖2 卷積神經網絡工作方式

鑒于樣本數據的抽象性，HAR任務常使用一維卷積核。一維卷積核可以理解為長度為1的二維卷積核，這樣便得到一維卷積神經網絡。使用動態滑動窗口方法可將樣本切分成尺寸為[樣本容量, 滑動步長, 通道數]的三維矩陣，這樣的三維矩陣能夠作為一維卷積層的輸入數據。

門控循環單元(Gated Recurrent Unit， GRU)[14]和長短期記憶(LSTM)[15]模型屬循環神經網絡(RNN)[16]的分支。其中GRU是LSTM的簡化改良，它合并了LSTM中的輸入門和遺忘門，僅擁有更新門和重置門，既能夠保持與LSTM相同的效果，又減少了參數量，同時也加速了訓練過程。GRU是當前最流行、效果最好的LSTM變體。與LSTM一樣，GRU對解決RNN的長期依賴問題有很大幫助。其原理如圖3所示。

圖3 門控循環神經網絡工作方式

更新閘門通過判斷過去的信息是否對當前狀態有貢獻以控制新數據流入記憶的程度。更新閘門的計算公式為：

(1)

式中：xt表示t時刻的輸入。

重置閘門控制記憶的狀態和記憶流失的程度。重置閘門的計算公式為：

(2)

(3)

(4)

式中：下標t指示當前狀態；帶下標的W和U分別指GRU結構各處的不同權值；帶下標的b指偏差值；σ特指Sigmoid函數；φ特指tanh函數。由圖3可知，重置門和更新門分別對時序數據的短期和長期依賴關系提供支持。當rt的值為0時，表示前一時刻的信息對當前狀態不產生影響；當rt的值為1時，則當前狀態受影響。由式(4)可知，zt的取值決定隱藏參數為前一時刻的隱藏狀態還是預備更改的隱藏狀態。GRU通過這樣的方式處理時序性數據，使得前一時刻的輸入擁有影響當前情況輸出的能力。

2 混合神經網絡模型及其改良

2.1 設計原理及模型雛形設想

人體活動依照一定順序非跳躍地完成，例如，躺與坐兩種常見的人體姿勢，從物理上是不可能瞬間地切換的，其間必然有一個轉換的過程。這種時序上的依賴問題也出現于心率數據中。可見，滑動窗口捕獲的人體活動的傳感器數據是時空完備的。理論上，純粹的神經網絡在HAR的任務上并非足夠，卷積神經網絡能解決的只是依照當前狀態進行識別的問題，而循環神經網絡在特征提取上并不出色。理論上，將各模型線性堆疊實現模型的混合，整體的工作效果能得到提升。文獻[17]設計了LSTM-RNN混合模型以應用于普適化人體活動識別，并取得了良好的效果；文獻[18]將CNN與LSTM模型結合用于多穿戴傳感器的人體活動識別，也得到了良好的結果。然而，在人體活動識別的相關研究中，鮮有研究者將模型混合以并行考慮傳感器數據特征提取及其時序性。

此外，純粹的單一神經網絡模型在訓練中存在訓練時間長、容易過擬合等問題，且容易陷入局部最小值，致使模型最終評估準確率大幅降低。在實際應用中，簡單的神經網絡模型往往準確度不高、泛化能力差。因此，純粹神經網絡具有局限性。

綜上，為充分利用人體活動數據的時空性，并考慮到純粹神經網絡的局限，本文提出將卷積神經網絡與門控循環神經網絡線性混合，得到自動提取傳感器數據特征和記憶時序序列能力兼得的CNN-GRU混合模型。予以多處改良并與其他傳統模型對比，在公開數據集OPPORTUNITY和MHEALTH上分別進行四種基本的人體活動識別任務和康復保健相關行為的辨識任務。

2.2 防止神經網絡過擬合

過擬合即神經網絡在訓練數據集中表現良好，而在測試數據集中表現較差的情況，通常表現為當訓練周期數增多，訓練數據集誤差減小，而驗證數據集誤差沒有明顯變化。通常，在不變更數據集的情況下，防止過擬合的技術有早停、L2正則化和加入Dropout層。

其中，加入Dropout層是迄今最簡單、最高效的防止過擬合的方式[19]。它的工作方式為以給定的概率p隨機剔除神經網絡的一些神經元，如圖4所示，這既使得神經網絡輕量化，又增強了神經網絡的泛化能力。實際應用中，Dropout不僅能減輕過擬合的問題，還可以增加準確率，原因在于其消減了錯誤分類結果對最終評估造成的影響。

圖4 Dropout層工作方式

在實驗中，我們采用早停與加入Dropout層的方式來減輕過擬合現象，以提升模型在評估時的準確率。

2.3 具體改良內容

(1) 使用雙向門控循環單元。實際情況中，當前狀態的輸出也可能受其之后輸入的影響，然而前述循環神經網絡模型均只記憶當前狀態之前的輸入。雙向門控循環單元(Bidirectional Gated Recurrent Unit， BiGRU)能夠靈活解決此問題，使得在產生當前狀態的輸出時，其前后的輸入均被遍歷。BiGRU的原理如圖5所示,其中：下標t指示當前狀態；A和A′分別代表正向和逆向的隱藏狀態參數。

圖5 雙向門控循環單元工作方式

以⊕表示按元素相加，最終的輸出公式為：

yt=A⊕A′

(5)

由圖5可知，在當前狀態t下，其后的輸入數據逆向處理，其輸出與之前正向數據產生的輸出合并，得到雙向門控循環單元網絡的輸出，該改良使模型附加以未來輸入數據作為依據的學習和評估方式。具體到HAR任務上，當前動作姿態的前一瞬間與后一瞬間的傳感器數據結合作為辨識依據，能使動作辨識更加準確。例如，心率數據在人體運動時的波動變化可以結合其前后瞬間的心率傳感器數據進行判斷。被試活動后的心率恢復程度也能作為其判斷依據，通過判斷活動的劇烈程度對其進行分類。同理，當前狀態后一瞬間的IMU數據能為活動的正確分類提供支持。因此，BiGRU能為HAR精度的提升作出貢獻。

(2) 改良模型其他各層。卷積層通常作為研究圖像識別問題的神經網絡模型的輸入層。二維圖像數據中某一像素塊與其周圍相鄰像素塊可能關聯，成為圖像的特征。然而過于抽象的傳感器數據不同于圖像數據，它們通常被輸入一維卷積層。除某些IMU能記錄四元數外，大部分IMU捕獲x軸、y軸和z軸三軸方向上的信息，各組信息間關聯性不大。因此使用大小為3、步長為3的卷積核，以使卷積層更好地提取特征。提高特征提取的針對性，能對人體活動準確分類做好鋪墊。

同樣，在圖像識別問題上，池化層一般能縮小矩陣尺寸以加速神經網絡的訓練。最大池化一般可表示為：

C=[max{c1},max{c2},…,max{cn}]

(6)

由式(6)可知，池化層必將造成特征信息的流失。然而傳感器數據遠不如圖像數據龐大，縮減采樣的操作必要性不大，且破壞了數據的固有格式，反而使準確率降低。本研究在改進的模型中剔除了池化層，此外還增加了其他各層的神經元以取得更高的準確率。

2.4 改良CNN-GRU混合模型

依據前述混合模型介紹，本文設計的CNN-GRU混合模型各層及各參數如表2所示。

表2 改進前后的CNN-GRU混合模型各層及各參數

由表2可知，將CNN提取的人體活動特征數據連接至GRU層的輸入，不僅規避了普通神經網絡的缺陷，突破了純粹神經網絡的局限性，而且使用較少參數量實現了自動化特征提取和時序性考慮的融合，充分利用了傳感器數據的時間性和空間性。研究發現CNN-GRU混合模型還能夠繼續升級改進，改進前后的混合模型對比如表2所示。本文改良CNN-GRU的混合模型如圖6所示，基于該模型的實驗過程可使用算法1-算法3描述。

圖6 改良CNN-GRU模型工作方式

算法1數據初始化

輸入：原始數據集dataset，需要使用的數據的列號集合c。

輸出：訓練使用的特征數據Xnorm和特征數據對應的標簽Ynorm。

1.f=Load(dataset)

// 根據原始數據集得到二維矩陣

2.f=Reset(f,index,column)

// 重設行列標號

3.Xtmp1,Xtmp2, …,Xtmpn=ExtractFeature(f,c)

// 提取特征數據

4.Xtmp=Stack(Xtmp1,Xtmp2, …,Xtmpn)

// 堆疊組合特征數據

5.Ytmp=ExtractLabel(f,Xtmp)

// 根據特征數據提取標簽

6.foreachin(Xtmp,step):

7.Xw+=CreateWin(each,step,sizeOfWin,Ytmp)

// 根據滑動窗口生成樣本特征數據

8.Xnorm=Norm(Xw)

// 歸一化特征數據

9.Ynorm=OneHot(Ytmp,numberOfCategories)

// 將標簽數據轉化為獨熱編碼

10.return(Xnorm,Ynorm)

算法2構建并訓練改良的CNN-GRU混合模型

輸入：特征數據Xnorm，特征數據對應的標簽Ynorm。

輸出：混合模型model。

1.model=List():

// 初始化一個線性堆疊模型

2.Convolution1D(size=Xnorm.Size)

// 作為輸入層的卷積層

3.Convolution1D()

// 第二層卷積層

4.Bidirectional(GRU(return_sequence))

// 雙向GRU層

5.Flatten()

// 連接至平坦層展開

6.Dense()

// 全連接層

7.Dense(f=softmax)

// 使用Softmax對人體活動進行多元分類

8.model=CompileModel(CrossEntropy)

9.returnmodel.Train(Xnorm,Ynorm)

算法3模型準確性評估

輸入：測試的特征數據Xtest和對應標簽Ytest。

輸出：準確率得分Acc。

1. Init(Xtest,Ytest)

2.foreachin(Xtest,Ytest):

3.yieldreturnmodel.Predict(each)

// 返回每一項活動的辨識準確率

由圖6可知，改良模型在自動提取特征并進行時序性分析的基礎上，更高效地利用了數據的時空性，確保了分類依據的完整性，增強了模型整體的糅合度，因此能夠提高模型評估的準確性。

3 實驗與分析

3.1 實驗數據集分析

(1) OPPORTUNITY活動識別數據集。OPPORTUNITY數據集(OPPORTUNITY Activity Recognition Dataset)[20-21]收集四名測試者的日常活動，每名測試者的數據分為ADL(Activities of Daily Living)和Drill兩類，分別代表日常順序執行的生活活動和腳本化重復執行的各個活動。該數據集使用人體穿戴、物件和環境三類傳感器收集數據。其中，本文實驗中使用的人體穿戴傳感器分為7個慣性測量單元和12個普通三軸加速度傳感器兩類，慣性測量單元提供三軸加速度傳感器、三軸陀螺儀和三軸地磁場傳感器的讀數。人體穿戴傳感器的分布如表3所示。

表3 OPPORTUNITY活動識別數據集人體穿戴傳感器分布

該數據集提供了4類基本活動模式標簽和17類高級姿態活動標簽。本文僅針對通過人體穿戴傳感器辨識人體活動展開研究，因此剔除了該數據集中的物件與環境傳感器數據。本文研究的實驗需要用到4類基本活動模式標簽，它們分別為站、走、坐和躺。

(2) MHEALTH數據集。MHEALTH數據集(MHEALTH Dataset)[22-23]收集十名測試者進行不同體育、保健活動的運動數據和生命體征，這些活動包括慢跑、蹲伏和向前彎腰等，共12類，如表4所示。MHEALTH即移動醫療或數字健康，是互聯網健康醫療服務背景下的新穎概念。數據收集涉及到的傳感器有位于胸前的三軸加速度傳感器和心率傳感器，分別位于左腳踝和右下臂的慣性測量單元。

表4 MHEALTH數據集中的活動清單

續表4

3.2 模型訓練和實驗結果分析

本文實驗采用Nvidia GTX 1050的GPU顯卡硬件加速以完成訓練過程，編程語言為Python 3.0，底層和頂層框架分別為TensorFlow1.13.0和Keras 2.0。

交叉熵函數常作為多元分類問題的損失函數，本文實驗使用它作為梯度下降的依據，其公式為：

(7)

僅通過一次評估不能判定神經網絡的準確性，因為神經網絡具有一定隨機性，因此本文多次重復評估模型并求取平均值。在上述兩個公開數據集上的實驗結果如表5所示。

表5 OPPORTUNITY活動識別數據集和MHEALTH數據集的實驗準確率 %

從總體上準確率看，改良后的CNN-GRU模型在OPPORTUNITY活動識別數據集和MHEALTH數據集的表現較其他所有模型更好。模型在MHEALTH數據集上的高準確率也說明了模型具有很強的泛化能力，能夠適應不同的人體活動識別情景。對比純粹的CNN、LSTM、GRU等模型，混合神經網絡模型更具優勢，充分說明了改良CNN-GRU模型在人體活動識別上的準確性。在行走等強時序性狀態活動的識別下，含記憶單元的模型具有更大的優勢。因為缺少時序性的考慮，CNN模型在辨識動態狀態時可能產生與其相似的靜態姿勢的混淆，但這也使得CNN在檢測如躺姿等簡單且幾乎靜態的狀態上具有優勢。

實驗中使用一次改良CNN-GRU模型對MHEALTH數據集評估的混淆矩陣如表6所示。改良CNN-GRU模型在MHEALTH數據集中的8個活動標簽的辨識準確率均達90%以上，其中3個活動標簽能達到100%的辨識程度。

表6 一次改良CNN-GRU模型對MHEALTH數據集評估的混淆矩陣

實驗過程中發現，純粹的CNN模型的損失函數并非每次都能降低至預期的最小值附近，容易停留于局部最小值，這種情況導致評估時準確率震蕩性明顯。含與CNN結合的LSTM/GRU層的模型因為輸入的數據集經過卷積池化處理，訓練用時較含直接作為輸入層的LSTM/GRU層的模型更快，這也證實了純粹神經網絡模型的一些局限。

綜合上述結果，改良CNN-GRU模型的訓練過程較其他所有模型更為穩定，訓練速度適中，準確率更佳，評估的結果也更為理想。在時序依賴較強的人體活動辨識中，本文提出的改良CNN-GRU模型能充分發揮優勢，獲得更好的準確率。

4 結 語

綜合實驗結果分析，在人體活動識別的任務上，CNN-GRU模型能擁有較好的準確度和穩定性。在輸入數據時序依賴較強的情況下，CNN-GRU混合模型能取得更好的辨識結果。在實際的康復醫療領域應用中，康復保健運動基本為依照完整的流程有序地進行，是時序性強的腳本化動作序列，所以采用CNN-GRU混合模型更為準確有效。本文采用CNN-GRU混合模型在公開的OPPORTUNITY活動識別數據集和MHEALTH數據集上進行實驗，準確率分別達到了94.186%和88.102%，也證明了該模型能擁有更好的準確度和穩定性。