基于無線體域網的在線人體活動識別

范長軍,高 飛

(浙江工業大學 計算機科學與技術學院,杭州 310013)

1 引 言

據2018年5月GSMA公布的“移動經濟”報告統計[1],2017年全球手機用戶人數已突破50億人大關,其中智能手機用戶人數占比57%,預計到2025年這兩個數字將分別攀升至59億和77%.隨著智能手機的普及,以及計算能力的提升,普適感知應用與服務得以迅速發展.一方面,手機中被嵌入越來越多的傳感器件,使其成為集感知、計算與通訊為一體的智能終端[2];另一方面,用戶往往隨身攜帶手機,隨時隨地通過手機來實時檢測人的日常行為,能為人機交互提供不可或缺的及時反饋,為醫療保健或健康管理提供場景豐富的海量信息.基于智能手機的在線人體活動感知和識別成為近年來國內外的研究熱點[3,4].

現有相關工作大多僅采用手機上的加速度、陀螺儀等慣性傳感器進行人體活動識別[5].文獻[6]采用手機加速度和陀螺儀傳感器,通過特征提取、特征選擇以及數據融合來提高坐、站、躺、走、上樓、下樓六類活動的分類準確率和在線推理效率;文獻[7]開發了一套手機應用,用于在線進行傳感數據的收集、訓練和識別,靜止、走、騎摩托車三類活動的識別準確率達90%以上.上述兩類方法均取得了不錯的效果,但感知范圍有限,在一定程度上限制了可識別的活動種類.比如,當把手機放在褲袋中時,將很難捕捉喝茶、打字、吸煙等活動涉及的手部運動.

隨著MEMS技術的發展,智能手表、智能手環等可穿戴設備得以普遍使用,它們具有體積小、重量輕、非侵入、便于佩戴等特點,內置的加速度、陀螺儀、心率等傳感器,能有效輔助日?；顒幼R別.文獻[8]用手腕處的加速度、角速度和磁場信息來檢測手部姿態和識別吸煙行為,文獻[9]通過腕部的加速度和角速度來識別吃飯動作,此兩者都僅采用腕部慣性傳感數據專門識別特定類型的活動;文獻[10]研究了智能手機和智能手表在人體活動識別中分別所起的作用,識別了9類活動,但是兩類設備是獨立工作的;文獻[11]同時利用褲袋和手腕處的慣性傳感器來進行日?；顒拥淖R別,識別了更多種類的活動(13類).上述工作均采用了傳統的機器學習算法,需要人工提取特征,并且沒有對在線識別的性能進行評估.

針對以上問題,設計了由智能手機和智能手環組成的體域網,并在此基礎上實現了一套普適化的人體活動在線識別系統.首先,在Android智能手機上設計和開發了通用的傳感數據采集系統,以方便采集體域網內各節點的傳感數據;其次,設計了深度神經網絡—DeepCIL,在傳感數據經過預處理后,通過構造帶有Inception結構的卷積神經網絡和長短時記憶遞歸神經網絡來提取其時空域特征,并結合兩類網絡結構來進行數據融合,離線訓練神經網絡模型;最后,對訓練好的神經網絡模型進行優化,并部署到智能手機上,在線實時識別人體活動.

2 人體活動識別系統設計

2.1 系統總體設計

本文設計了一種適用于人體活動識別的可擴展的體域網系統框架,組成包括:可穿戴感知設備、智能移動計算終端以及大數據分析云平臺,系統的整體架構如圖1所示.

圖1 系統框架圖Fig.1 Framework of the system

在體域網中,各類可穿戴設備作為感知節點,負責實時地采集用戶的體感信號,如加速度、角速度等慣性數據以及心率等生理數據.智能手機既是計算節點,又承擔了感知節點和通信節點的角色:作為移動計算終端,它負責對各節點的傳感信號進行收集、預處理與分析識別;作為感知節點,它可用于人體上下文運動感知,實現硬件資源的充分利用;在通信層面,手機既是體域網的匯聚節點,又是與云平臺交互的接口.在網絡擁堵或電量有限時,手機可以將收集的傳感數據暫存到本地,只將識別的結果發送至遠端云平臺,由云平臺作進一步的處理,并及時返回處理結果.當網絡通暢或電量充足時,再將保存在本地的原始傳感數據上傳到云端,方便后續大數據平臺進行歷史數據的分析與挖掘.該方法在本地移動端即可得到識別的結果,及時準確,且不受限于網絡.

為了減輕用戶的負擔及增加系統的普適性,本文中體域網主要由智能手機和智能手環兩個節點組成.基于該系統框架,選用了谷歌Nexus 5x手機,并采用Arduino開源硬件開發了可穿戴感知設備iWristIMU,以模擬智能手環的功能.iWristIMU的硬件組成主要包括一個Arduino主控板,一個九軸慣性傳感模塊,一個無線藍牙模塊,以及一套電源組件.其中,慣性傳感模塊采用的CMPS11具有I2C總線接口和TTL串行接口,內置三軸加速度、三軸陀螺儀和三軸地磁儀,具有接口簡單、感知精度高和支持多頻率輸出的優點,可以滿足人體活動識別的要求.iWristIMU主要通過該傳感模塊捕捉人的手臂運動,并通過無線藍牙模塊發送到手機上.

2.2 數據采集軟件及實驗

基于以上系統框架,設計開發了相應的數據采集軟件iSomaticLog,并通過該軟件采集了一批數據,以驗證本文提出方法的有效性.iSomaticLog支持Android 4.0及以上版本的平臺,能從智能手機內置的各類傳感器中采集數據,包括加速度、陀螺儀、磁力計等慣性傳感器,以及GPS、光強、大氣壓等其他傳感器,也可接收由藍牙等無線網絡發送來的體域網其他節點的感知數據.為了便于交互操作,為iSomaticLog設計了用戶友好的圖形化界面,當需要標記人體活動類型時,可直接點選下拉菜單中的對應項,方便又快捷.此外,界面中還可實時顯示體域網各傳感節點的感知數據.

圖2 數據采集軟件界面與采集實驗設置Fig.2 UI of iSomaticLog and settings for the experiment

數據采集軟件iSomaticLog系統界面如圖2左圖所示,由三部分構成:在第一部分中,當選取人體活動的類型,并點擊開始按鈕后,即開始數據的采集工作,并得到樣本數據的標簽;第二部分顯示了智能手機內置傳感器感知到的部分數據,如GPS、角速度、磁場等;第三部分顯示了從智能手環傳遞來的慣性傳感數據,包括角速度、加速度等,并且可通過點擊開關按鈕的方式選擇是否連接智能手環.

為了驗證本文方法的有效性,進行了模擬場景實驗.將Nexus 5x手機豎直放入右側褲子口袋中,頂端朝上,屏幕背對人體,iWristIMU戴在右手手腕處,各位穿戴者的佩戴方式保持一致,如圖2右圖所示.

表1 測試者的生理狀況統計
Table 1 Summary of participant′s physiological profiles

平均值最小值最大值年齡(歲)272432體重(kg)62.6348.977身高(m)1.711.561.83體質指數21.3818.425.13

本試驗由4名男性和2名女性共6人參與測試,表1統計了他們的年齡、身高、體重等基本生理狀況.這些測試者通過iSomaticLog采集并標注了十二類日?；顒拥膫鞲袛祿?包括坐、站、上樓、下樓、走、跑、騎自行車、打字、寫字、喝茶、吃飯、吸煙.其中,打字、寫字、喝茶、吃飯,坐在桌前完成,吸煙在指定地點站著完成.在6名測試者中,僅有2人抽煙,有1人不喝茶,其他活動每人均參與實驗.一次采集過程一個人一類活動至少持續1分鐘,6名測試者總共采集得到22.5小時的數據,并且確保每類活動的數據不少于40分鐘.在測試時,對數據進行亂序排列和隨機抽取,以保證結果無偏.

3 人體活動識別系統實現

3.1 傳感器數據預處理

采集的原始傳感數據一般不會直接用來識別人體活動,這樣難以保證識別的準確率,主要是因為很多因素都能導致信號質量下降,其中高頻噪音和信號丟失最為常見.

在人們自然的日?；顒又?身體各部位的加速度、角速度等慣性信號主要維持在較低的頻率,但在這些信號從激勵、發生到檢測、傳輸等諸多環節中,它們都有可能受到環境中各類高頻噪聲的污染.常用的解決方案是通過低通濾波器來將這些噪聲剔除,本文選用巴特沃斯(Butterworth)低通IIR數字濾波器來達到此目的.從圖3中可以看到,濾波后加速度信號的波形變得平滑,但關鍵細節仍在,且總體波形特征沒有受到影響.

圖3 Butterworth低通濾波Fig.3 Low pass Butterworth filter

此外,一方面,由于傳感器件運行狀態不穩定等各方面的原因,容易出現信號漂移與數據丟失問題;另一方面,當體域網擴展新的傳感節點(比如心率)時,其可配置的采樣頻率與慣性傳感器的未必一致,需要進行數據對齊.這里采用線性插值的方法補全上述缺失的數據,以保證感知數據的內在模式不被改變.另外,不同類型傳感器的輸出數值范圍往往差別很大,在經過上述處理后,應對各通道數據進行歸一化.

各類傳感信號是隨時間而持續產生的,以一定的頻率離散采樣可得到一個很長的數據序列.為方便提取特征和進行訓練,需要把這些長數據序列分割成若干具有相同長度的重疊的窗口,也即加窗操作.此處,設置手機和手腕上慣性傳感器的采樣頻率為50Hz,并將滑動窗口的長度設為6s時長的傳感序列樣本數——300,同時設置滑動窗口的步進時長為1s(對應50個樣本).

3.2 人體活動識別算法分析

人體活動識別主要通過監督式學習算法實現,更具體地,通過多元分類算法實現,故其關鍵在于設計與實現高效且準確的分類算法.

當前的人體活動識別研究常常采用樸素貝葉斯、決策樹、支持向量機等簡單易用的分類算法,算法的準確性和效率極大地依賴于訓練數據的特征工程.相關工作通常采用啟發式的方法,手動提取用來表示活動的各類時域、頻域和時頻域等特征,并進行特征選擇.目前常用的特征包括均值、方差、平均交叉率、FFT變換、能量(Energy)、軸間相關系數等.將一個滑動窗口內X軸的加速度值表示為X={x1,…,xi,…,xN},這里N=300,則舉例說明如下:

1)均值:

(1)

2)方差:

(2)

3)平均交叉率:數據越過均值的次數.

(3)

4)能量:Ak(k=1,2,…,N)代表數據序列的快速傅里葉變換系數,則:

(4)

5)軸間相關系數:xi,yi分別代表X,Y兩軸的加速度值,則:

corr(X,Y)=

(5)

特征工程因不同應用領域要解決不同的問題,或要使用不同的傳感器類型,而各不相同,需要對應領域的專家知識具體問題具體分析.在現有人體活動識別研究中,經常存在多模態傳感數據,比如加速度、角速度、磁場、心率等,不同類型的數據往往需要提取不同的特征.與過去要從人工設計的特征開始學習的傳統方法不同,近年來迅速發展的深度學習技術可從原始數據直接開始學習,實現了“端到端”的效果,又被稱為表示學習[12].卷積神經網絡(Convolutional Neural Network,CNN)在特征提取的全面性和表示能力方面都表現不俗,可用于提取多模態傳感數據的局部空間特征,并能通過疊加多個卷積層來提取更加抽象的活動語義,以充分表示不同的活動.相較于CNN,長短時記憶網絡(Long Short-Term Memory Network,LSTM)能有效提取數據內在的時序關系,更善于建模喝茶、吸煙等具有長時語義的活動.

為此,本文提出了一種新的深度神經網絡DeepCIL,將CNN和LSTM整合到一個網絡框架內.先分別對不同模態傳感數據通過帶有Inception結構的多個卷積層提取短時局部特征,再通過一個全連接層實現這些特征的整合,最后通過LSTM層來建模長期時序關系,并進行人體活動的分類.

3.3 人體活動識別算法設計

3.3.1 卷積神經網絡設計

卷積神經網絡主要有卷積層和池化層兩類基本結構,它們一般交替出現,形成一個多層的深度網絡.

在CNN中,每層的神經元都僅與前一層中的部分數據相連,通過與卷積核的卷積操作,局部感受野中的空間特征被提取出來.不同的卷積核可以提取不同類型的特征,對每一層數據通常會使用多個卷積核進行卷積操作.卷積之后得到的數據稱之為特征映射(feature map),多個卷積核對應多個特征映射.由于加速度等慣性傳感信號都是一維的數據,因此采用一維的卷積核,對應的卷積操作為:

(6)

ReLU:σ(x)=max(0,x)

(7)

在卷積層之后往往緊跟著池化層,以對得到的特征進行二次提取,減少特征數量的同時保持特征的局部不變性.池化層計算式為:

(8)

式中:β表示池化權重系數,fdown()表示采用的池化函數,常用的池化函數有最大池化函數(如式(9))和平均池化函數(如式(10)),其中,k為池化核的大小.

fdown(a)=max(ai,j)i,j∈[0,k]

(9)

(10)

傳統CNN方法主要強調通過加深網絡層數來提高網絡特征處理能力,本文為其引入了結合Network in Network思想的Inception結構[13].Inception結構通過并聯不同尺度的卷積核來增加網絡寬度,獲取多模態傳感數據中的多種尺度特征,能有效地表征喝茶、吸煙等復雜活動.

圖4 CNN-Inception網絡層結構Fig.4 Structure of CNN with Inception

以手機作感知節點為例,設計卷積神經網絡層CNN-Inception的結構.選用其三軸加速度和三軸角速度作為訓練樣本,并且為了避免傳感器朝向的變動影響識別的效果,計算三軸加速度向量和三軸角速度向量的長度作為輔助數據通道,因此共有3+3+2=8通道的訓練數據.傳感序列窗口長度為300,則對應輸入CNN的一個樣本的維度為(300×8).經過“卷積—>池化”的三次交替迭代,將8通道數據進行融合得到大小為(19×32)的特征映射.其中,選用的卷積核大小一律為2,池化窗口大小分別采用4、2、2,提取的濾波器數依次為16、32和32,具體如圖4所示.然后,在此基礎上分四路進行數據的縮放,以實現Inception的功能,分別是:①卷積核大小為(1×1)的一維卷積操作;②先進行窗口大小為(1×2)的平均池化,再做(1×1)的一維卷積;③先做(1×1)的卷積,再做(1×4)的卷積,均為一維;④先做(1×1)的卷積,再做(1×2)的卷積,均為一維.上述每一路均得到了大小為(19×32)的數據,將這四路數據并聯起來即為CNN-Inception的輸出—大小為(19×128)的特征映射.可以看到,在③和④中數據維度經過(19×32)->(19×16)->(19×32),實現了多尺度的特征提取.

在訓練時,采用了反向傳播的梯度下降算法對參數進行調整,CNN特有的局部感受野和權值共享機制,將需訓練的參數數量限制在一定范圍內,提高了訓練性能.

3.3.2 長短時記憶網絡層設計

慣性傳感數據經過CNN-Inception網絡層處理后得到的特征映射被輸入LSTM網絡層,以學習內在的動態時序特征.

在LSTM中,每個神經單元的前一個時間點的激活值與權重系數相乘后又被加回到本時間點上,這為它施加了過去激活函數的影響,相當于具有了記憶.LSTM的各個隱藏層由一系列存儲塊遞歸相連而成,一個存儲塊對應一個記憶單元,每個記憶單元內部包含三個門:輸入門、輸出門和遺忘門,分別具有對記憶單元進行讀、寫和復位的功能,以靈活控制不同記憶單元之間的信息傳遞.

一個LSTM記憶單元的狀態通過以下公式進行更新:

it=σ(WiXt+Viht-1+bi)

(11)

ft=σ(WfXt+Vfht-1+bf)

(12)

ot=σ(WoXt+Voht-1+bo)

(13)

ct=ft?ct-1+it?tanh(WcXt+Vcht-1+bc)

(14)

ht=ot?tanh(ct)

(15)

其中,it,ft,ot,ct和ht分別代表輸入門、遺忘門、輸出門、控制單元和記憶單元在t時刻的輸出.bi,bf,bo,bc分別為對應的偏置向量.Wi,Wf,Wo,Wc,Vi,Vf,Vo,Vc為權重矩陣.

設計LSTM網絡為兩個隱藏層的結構,每個隱藏層分別對應一個LSTM單元,依次表示為LSTM-Cell1和LSTM-Cell2.輸入層傳入的數據和上一個時刻LSTM-Cell1的狀態輸出構成了第一層LSTM-Cell1的輸入;同理,第二層LSTM-Cell2的輸入由LSTM-Cell1的計算輸出和上一時刻LSTM-Cell2的狀態輸出組成.具體參見圖5.

圖5 LSTM網絡層結構Fig.5 Structure of the LSTM

CNN-Inception網絡結構的批量輸出經過轉置與形變后,通過一個全連接層進行擬合,再被分割,轉換成LSTM容易處理的形式.針對上一小節的例子,設置LSTM隱藏層的節點數為60,序列長度為19.在DeepCIL網絡中,兩個LSTM隱藏層之后緊跟一個全連接層,對提取的時空域特征進行分類,得到各類人體活動的識別結果.

在訓練模型時,為達到訓練效率和效果折中的目的,將傳感數據分批次進行輸入.批大小作為超參數,可多次賦值并測試效果來選定,本系統一律置為100.一次訓練迭代包含前向及反向傳播兩個過程,每迭代一次參數隨之更新一次,直至準確率及損失趨向于收斂.通過設置訓練迭代的次數或終止的條件,最終可獲得穩定的DeepCIL網絡模型.

3.4 人體活動識別移動端部署

由于智能手機的計算能力有限,并且可攜帶的電池容量有限,運行在其上的軟件需要充分考慮性能因素.此外,為了增加用戶的體驗,以及滿足某些在線應用的需求,實時性也是題中應有之義.因此,在服務器端訓練DeepCIL網絡模型,并將訓練好的模型進行轉換、優化,部署到手機端,以實現算法對移動終端硬件的支持.

本文基于Tensorflow[14]框架和Android系統來進行人體活動識別系統的移動端部署.TensorFlow是谷歌研發的第二代人工智能開源學習系統,具有靈活性高、可移植性好等優點,能夠運行在單個或多個CPU或GPU上.Tensorflow將神經網絡的輸入、輸出和中間層以及各層節點間的運算關系定義在內部的一個靜態圖(Graph)上,并通過一個動態會話(Session)執行圖中的具體運算.在服務器端,訓練時可通過GPU來加速模型的訓練過程,訓練完成后Tensorflow自帶的工具可以將設計好的DeepCIL圖結構以及訓練得到的參數固化到一個二進制文件中,并進行前向推理的優化,比如,刪除模型中輸入和輸出之間的非必要節點,將批處理標準化運算跟卷積權重進行合并等,以節省計算時間;在移動端,Android系統可方便地通過Gradle導入Tensorflow對應的庫,調用庫的API接口對實時感知的手機和手環上的慣性數據進行推理,即可得到識別的結果.

為了便于與傳統機器學習方法進行對比,在Android移動端同時引用了Weka[15]的Maven庫,以方便調用常用的機器學習算法.Weka是基于Java環境的開源機器學習及數據挖掘軟件,集成了大量分類、回歸、聚類等機器學習算法,并可方便地部署于Android平臺.

基于以上設計,在Android平臺上開發了在線人體活動識別軟件.該軟件可實時地收集體域網各節點的感知數據,并進行推理得到準確的識別結果,目前可有效識別前文所述的十二類人體活動.

4 實驗分析

基于DeepCIL的人體活動識別模型是在Ubuntu 16.04平臺上,由TensorFlow框架通過NVIDIA GTX 1080顯卡硬件加速訓練得到的,而后被部署到谷歌Nexus 5x手機上.在訓練過程中經過多次賦值測試并篩選得到了相應的學習速率、序列長度和訓練迭代次數等超參數,分別為0.0001,300,100.

表2 傳感器類別與佩戴位置對準確率的影響
Table 2 Effect of number and position of sensors to accuracy

準確率均值準確率方差SA+P97.36%0.0048CA+P59.31%0.0140CA+W91.43%0.0096CA+P+W94.42%0.0093

首先,考慮傳感器數量與佩戴位置對人體活動識別準確率的影響.將十二類活動分為簡單活動(以SA表示):坐、站、走、跑、騎自行車、上樓、下樓,共七類;和復雜活動(以CA表示):打字、寫字、喝茶、吃飯、吸煙,共五類.分別采用手機(以P表示)和手環(以W表示)的三軸加速度和三軸角速度兩類傳感數據,并提取其均值、方差作為基本統計特征,通過Weka的樸素貝葉斯來進行分類.每次實驗隨機選取80%的數據作為訓練數據,10%作為驗證數據,剩下10%的數據作為測試數據,重復上述過程10次,并計算各次分類準確率的均值和方差,如表2所示.

從實驗結果可以看出,在僅采用手機上的慣性傳感數據的條件下,七類簡單活動能夠被樸素貝葉斯算法準確的區分,且分類效果相對穩定,而五類復雜活動的分類準確率并不理想,僅為59.31%;在僅采用手腕上的慣性傳感數據時,五類復雜活動的分類效果得到了很大程度的改善,可見對于這些人體活動而言,手部的動作更有區分度;當同時采用手機和手腕上的慣性傳感數據時,五類復雜活動的分類效果進一步提升,準確率和穩定性都維持在較好的水平.這說明增加體域網傳感節點,能夠有效的擴展可識別的人體活動種類;手環設備作為一個感知節點,在某些類別的活動分類中是必要的.

表3 特征組名與類別
Table 3 Three group of extracted features

特征組名特征類型簡單特征(SF)均值,方差常用特征(MF)均值,方差,絕對偏差,平均交叉率,峰值間隔,能量,桶分布,軸間相關系數通用特征(CF)tsfresh[16]時序特征工具提取794個特征,并從中平均選擇得到423個特征

為了考察特征工程對人體活動識別準確率和效率的影響,進行如下實驗.在五類復雜活動的基礎上,增加與之運動模式類似的坐、走兩類活動,針對這七類活動,同時采用手機和手環上的三軸加速度和三軸角速度,并為這些數據各通道的每一窗口分別提取三組特征,如表3所示.

表4 特征工程對識別準確率和效率的影響
Table 4 Effect of feature engineering to accuracy and efficience

準確率/%特征耗時/ms推理耗時/msSF+NB86.970.550.13MF+NB88.4528.543.29CF+NB77.38(1,048)-DeepCIL-199.8708.41DeepCIL-298.4606.17

在移動端,在線提取SF和MF特征,并通過訓練好的樸素貝葉斯(以NB表示)模型在線分類,分別得到對應的耗時和準確率.CF僅在服務器端(CPU配置為Intel(R)Core(TM)i7-7740x)提取并計算耗時.此外,在服務器端分別訓練兩個DeepCIL模型,一個遵照前文設計的網絡參數(DeepCIL-1),另一個將所有隱藏層的節點數減半(DeepCIL-2),然后將兩個模型部署到移動端,并計算推理耗時和準確率.結果如表4所示.

從表4中可以看出,在僅有簡單特征的情況下,移動端特征提取和分類預測的平均耗時分別為0.55ms和0.13ms,基本可以忽略,但分類準確率較低,僅為86.97%;采用啟發式的方法優選得到MF特征后,分類準確率有了一定程度的提升,但耗時分別增加至28.54ms和3.29ms.由于啟發式的方法無法明確需要提取的特征種類,嘗試采用tsfresh提取并選擇得到的CA特征進行分類,效果卻并不理想.一方面,準確率僅為77.38%,明顯偏低;另一方面,特征提取在服務器平臺上的耗時已為1.048s,即便部署至移動端也無法做到實時識別,而且特征數量的龐大也造成了移動端的部署困難.采用本文設計的DeepCIL進行端到端的人體活動識別,無需人為設計特征工程,識別準確率高達99.87%,移動端平均耗時僅為8.41ms,能夠滿足在線日?；顒幼R別的實時性要求.對DeepCIL進行壓縮,將網絡各隱層的節點數減半,耗時降至6.17ms,識別準確率仍達98.46%.

表5 相關工作的分類效果對比
Table 5 Results of activity recognition with different methods

(%)precisionrecallf1-scoreLSTM96.4296.4696.43DeepConvLSTM99.0198.9999.02DeepCIL99.3799.3599.36

目前,已有一些基于深度卷積神經網絡或LSTM進行人體活動識別的研究,包括筆者前期基于LSTM的工作[17],以及DeepConvLSTM[18]等,分別采用上述方法對十二類人體活動傳感數據通過十折交叉驗證進行分類,并與本文方法進行比較,結果如表5所示.從表中可以看出,在準確率、召回率和f1-score三個指標方面,本文方法均具有一定的優勢.究其原因,Inception優化了CNN特征提取的性能和效果,LSTM進一步挖掘出數據間的時序依賴,DeepCIL在時域和空域對人體活動均有較好的表征.

圖6 DeepCIL測試數據混淆矩陣Fig.6 Confusion matrix for DeepCIL on test data

圖6為訓練好的DeepCIL模型下測試數據集的混淆矩陣,從圖中可以看出,有0.06%的“吸煙”活動對應的傳感數據被誤分類成“站著”,有0.07%的“吃飯”被誤分類為“喝茶”.直觀上理解,吸煙是站著進行的,而吃飯和喝茶都是坐著進行的,并均伴有手部的動作,因此較易出現混淆.

5 結束語

本文設計了由智能手環和智能手機組成的體域網,并在此基礎上實現了一套普適化的人體活動在線識別系統.先在智能手機上基于Android平臺設計和開發了一套通用的傳感數據采集系統,并采集了實驗所需的數據;然后,設計了DeepCIL深度神經網絡,對預處理后的傳感數據進行離線訓練;最后,對訓練好的神經網絡模型進行了優化,并部署到智能手機上,實現了在線人體活動的識別.