基于特征自動提取的跌倒檢測算法*

胡雙杰,秦建邦,郭 薇

(上海交通大學區域光纖通信網與新型光通信系統國家重點實驗室,上海 200240)

跌倒是導致老年人受傷甚至死亡的主要原因[1]。研究表明,在65歲以上的老年人中,有三分之一的人每年至少經歷一次跌倒[2],其中4%～15%的跌倒會導致嚴重的受傷。而在與受傷相關的老年人死亡案例中,有23%～40%是由跌倒引起的[3]。雖然我們很難避免跌倒的發生,但如果能準確的檢測到跌倒情況,并及時發出求救信號,可以有效降低嚴重受傷或死亡發生的概率。

隨著智能手機、智能腕表等可穿戴設備的快速發展,基于可穿戴傳感器的跌倒檢測系統吸引了越來越多的關注。與其他基于環境設備(如攝像頭[4]、體感傳感器[5]、WiFi[6]等)的跌倒檢測系統相比,可穿戴傳感器(如加速度計、陀螺儀、方向計等)可以被隨身攜帶,實現全天候全方位的監測,因此在實際生活中具有更廣泛的使用價值。另外,攝像頭等設備設計用戶隱私問題,部分老年人不希望受到攝像頭的監視,而可穿戴傳感器則較好的避免了這個問題。

閾值法和機器學習分類算法是目前使用較多的跌倒檢測方法。閾值法通過設置一個或多個閾值來檢測跌倒[7]。當接收信號超過(或低于)預設閾值,便判斷為一次跌倒。機器學習方法利用訓練數據訓練分類算法模型(如支持向量機、決策樹、K近鄰算法等),并利用訓練好的模型對新的數據進行分類判斷。上述兩種方法都依賴于人工設計提取的特征來區分跌倒和非跌倒數據。特征主要通過對原始信號在時域或頻域的統計分析得到。劉鵬等人[8]提取加速度信號幅度向量SVM作為考察人體活動強度的特征。Sucerquia等人[9]選擇了兩個基于能量熵的特征作為分類算法的輸入。Vavoulas等人[7]共提取了均值、中值、標準差、能量熵等57個特征以更好的反映信號的變化情況。

盡管這些人工設計提取的特征可以在特定的數據集上表現出較好的性能,但仍然存在著一些問題。第一,特征工程要求研究人員具有人體運動學方面的專業知識,以尋找合適的特征。然而生活中有許多與跌倒過程十分相似的運動(如坐下,躺下等),要人為設計能夠完全區分這些運動狀態的特征是一項困難的工作;第二,如果提取的特征不合適,會導致原始數據中重要信息的丟失,這會影響算法最終的識別精確度;第三,特征值的計算占據了算法大部分的運行時間。Inoue等人[10]的實驗結果表明,特征提取部分至少需要11 ms的時間,而算法的分類判斷部分僅需1 ms。在傳感器采樣頻率較高的情況下(如100 Hz以上),算法中特征計算部分消耗的時間會影響系統的實時性。

為解決上述問題,提高跌倒檢測算法的精確度和實時性,本文使用深度學習模型代替閾值法或傳統機器學習分類算法,提出了一種基于長短期記憶LSTM(Long Short-Term Memory)循環神經網絡RNN(Recurrent Neural Network)的跌倒檢測算法。模型包含輸入層、非線性激活層、兩層級聯的LSTM隱藏層以及Softmax分類器。算法首先利用滑動時間窗獲取傳感器數據,原始數據經過簡單的預處理便可直接作為模型的輸入。神經網絡通過對訓練數據集迭代的學習尋找出合適的數據特征,并最終輸出其對輸入數據類別的判斷(跌倒或非跌倒),實現端到端的處理。

我們使用兩個公開數據集MobiAct[11]和SisFall[12]對算法性能進行評估。MobiAct數據集利用智能手機內置的加速度計,陀螺儀和方向計采集人體運動過程中的信號,手機被隨機放置于志愿者任意一側的褲袋中,且不規定手機放置的方向。而SisFall數據集利用固定在志愿者腰部的嵌入式設備采集加速度計和陀螺儀信號。為保證運動類型的完善,兩個數據集都采集了多種跌倒與非跌倒運動類型的數據。

1 基于LSTM的跌倒檢測算法

1.1 LSTM網絡結構

LSTM網絡是一種門控循環神經網絡(Gated RNN)。該模型除了外部的RNN循環外,還具有內部的“記憶細胞”循環,即自循環。引入自循環的思想,可以產生梯度信息長時間持續流動的路徑,從而解決普通循環神經網絡優化過程中存在的長期依賴(Long-Term Dependencies)問題[13,14]。因此,相比于普通RNN,LSTM網絡更適合處理較長的時間序列數據。

LSTM的結構圖如圖1所示。其中最重要的組成部分是記憶細胞,它所存儲的狀態貫穿于整個網絡,只進行少量的線性交互,這樣可以保證梯度信息在長期傳播過程中保持穩定[15]。另外LSTM中還包括3個門控單元(一種讓信息選擇性通過的結構):“遺忘門”決定需要從細胞狀態中丟棄的信息;“輸入門”確定添加到細胞中的新信息;“輸出門”確定最終的輸出。

圖1 LSTM內部結構圖

神經元在t時刻的輸出響應ht由該時刻的輸入xt和前一時刻的輸出響應ht-1共同決定:

ht=θ(Wxixt+Whhht-1+bh)

(1)

式中:θ(·)表示激活函數,bh表示偏置向量,Wxh表示輸入與神經元之間的權值矩陣,Whh表示神經元內部自循環的循環權值矩陣。神經元內各部分在t時刻的具體運算如下:

it=σ(Wxixt+Whiht-1+Wcict-1+bi)

(2)

ft=σ(Wxfxt+Whfht-1+Wcfct-1+bf)

(3)

ct=ft?ct-1+it?tanh(Wxcxt+Whcht-1+bc)

(4)

ot=σ(Wxoxt+Whoht-1+Wcoct-1+bo)

(5)

ht=ot?tanhct

(6)

式中:?表示向量之間的哈達瑪積,σ(·)表示sigmoid函數:σ(x)=1/(1+e-x),W**表示任意兩個單元之間的權值矩陣,b*表示某一單元的偏置。

1.2 跌倒檢測模型設計

為實現從原始傳感器數據到最終判斷結果的端到端處理,本文設計了一個基于LSTM網絡的跌倒檢測模型。模型結構如圖2所示,它主要由4個部分組成:

①輸入層:接收來自三軸加速度計和三軸陀螺儀的時間序列數據。通過滑動時間窗對原始數據進行序列化分割處理后,截取得到包含n個采樣點的數據x=[x0,x1,…,xt,…,xn-1]作為后續網絡的輸入,其中n表示數據的長度(亦即滑動時間窗覆蓋的采樣點數),xt=[xt_accx,xt_accy,xt_accz,xt_gyrox,xt_gyroy,xt_gyroz]為t時刻的數據。因此x是維度為[6,n]的二維向量。

②非線性層:我們在輸入層與LSTM隱藏層中間加入了非線性激活層,目的是引入更多的非線性特征,從而更好的反映數據的變化規律。該層的輸出可表示為:

rt=ReLU(WNxt+bN)

(7)

式中:ReLU(·)為激活函數,WN表示該層的權值矩陣,bN為偏置向量。

③LSTM隱藏層:模型中包含兩層級聯的LSTM網絡。根據式(1)和式(2)～(6),網絡對輸入數據進行了一系列的線性與非線性變換。兩層級聯的結構可以保證模型能夠學習到足夠豐富的特征。具體而言,網絡內部的權值矩陣在訓練階段不斷迭代更新,直到接近最佳值。這些權值代表了模型從訓練數據中學習提取到的特征,能夠反映時間序列變化的規律。但由于這些權值并不具有顯示的意義,我們將這樣的網絡層成為隱藏層。

④Softmax分類器:對經過神經網絡處理的數據進行分類判斷(跌倒或非跌倒)。分類器由兩部分組成:首先通過一層線性變化計算輸入數據屬于某一類的未歸一化概率:

z=Wchn-1+bc

(8)

式中:Wc表示該層的權值矩陣,hn-1為LSTM隱藏層的輸出,bc表示偏置向量;然后根據式(9)將概率值歸一化,并將預測概率最大的一類作為最終的輸出結果:

(9)

此處pi表示各類別的歸一化概率值,C為類別數(本文中C=2)。

圖2 跌倒檢測神經網絡模型結構

1.3 模型訓練策略

模型的損失函數定義為:

(10)

顯然,損失函數的值越小,表明模型的預測結果越準確。我們利用梯度下降法迭代地尋找損失函數的最小值,每一步迭代后通過反向傳播更新網絡中的權值ω,使得模型不斷優化。損失函數的梯度L可以表示為:

(11)

梯度下降法在損失函數的負梯度方向上迭代地尋找局部最優解,反向傳播機制[16]將每一次迭代的信息傳遞給各網絡層的權值矩陣ω,并根據式(12)更新矩陣:

ωt=ωt-1-εL

(12)

此處ε表示每次迭代的學習率。為使模型的訓練更加快速而穩定,我們采用了衰退學習率:

ε=(εsrd)ec/ed

(13)

式中:εs為初始學習率,rd表示衰退率,ec為當前訓練的迭代次數,ed則是預設的超參數,可控制學習率衰退的快慢。衰退學習率會隨著迭代次數的增加而減小,因此,在訓練初期,學習率較大,模型可以快速地接近最優解;而在訓練后期,學習率逐漸變小,模型的訓練也趨于穩定,最終收斂于最優解附近。

2 實驗及結果分析

2.1 實驗數據集

我們使用兩個公開數據集測試模型的精確度和時延。第1個數據集為MobiAct。該數據集使用Samsung Galaxy S3智能手機內置的LSM330DLC慣性傳感器模塊采集志愿者運動過程中的三軸加速度計、陀螺儀及方向計數據,采樣頻率設置為200 Hz。數據集采集自66名志愿者(51名男性,15名女性,年齡分布為20至47歲),包含了4種不同類型的跌倒姿勢和12種不同類型的非跌倒運動。智能手機被隨機放置于志愿者任意一側的褲袋中,且不規定手機放置的方向。利用時間窗對數據集進行序列化預處理后,我們共得到7 633例非跌倒數據和767例跌倒數據。

第2個數據集為SisFall,該數據集使用可穿戴嵌入式設備采集志愿者運動過程中的三軸加速度計、陀螺儀數據,采樣頻率同樣為200 Hz,設備被固定在志愿者的腰部。38名志愿者被分為兩組:23名年輕志愿者及1名60歲的柔道運動員提供了15種跌倒姿勢和19種非跌倒運動數據;其余14名老年志愿者只提供15種非跌倒運動數據。利用時間窗對數據集進行序列化預處理后,我們共得到3 753例非跌倒數據和1 798例跌倒數據。

一次跌倒過程的持續時間一般為10 s左右,為保證時間窗截取到完整的跌倒過程,同時結合兩個數據集各自的樣本時長,我們對MobiAct采用時長為8 s的時間窗,對SisFall采用時長為12 s的時間窗。

圖3展示了典型的跌倒與非跌倒運動的加速度、角速度信號變化情況。

圖3 跌倒與非跌倒運動(步行、慢跑、坐下)的 加速度、角速度信號變化情況

2.2 評估指標

跌倒檢測屬于二分類問題,模型只需分辨跌倒和非跌倒運動兩種類別即可。二分類模型的判斷結果可能存在以下4種情況[17]:

①TP(True Positive):跌倒發生且系統成功檢測到,屬正確判斷;②TN(True Negative):未發生跌倒且系統未檢測到跌倒,屬正確判斷;③FP(False Positive):未發生跌倒但系統仍然檢測到,屬誤判;④FN(False Negative):跌倒發生但系統未檢測到,屬漏判。

根據以上4種情況,可以得到ACC(accuracy)、SEN(sensitivity)和SPE(specificity)3種模型評估指標:

(14)

(15)

(16)

ACC反映了模型的總體精確度,SEN反映了模型識別跌倒的能力,SPE反映了模型識別非跌倒運動的能力。

另外,算法的時延同樣是一個重要的評估指標,它反映了算法的時間復雜度。較低的時延可以保證系統能夠在較高的采樣頻率下運行。

2.3 實驗設計與結果分析

本實驗使用TensorFlow深度學習框架搭建了跌倒檢測神經網絡模型,并使用實驗數據集檢驗模型的精確度和時延。實驗在個人電腦上完成,處理器型號為Intel core i5。網絡模型的超參數設置如表1所示。經過實驗比較,在這些參數值下模型的收斂速度較快,訓練精確度也較高。

表1 跌倒檢測神經網絡參數設置

兩個實驗數據集均被隨機劃分為兩部分:70%的數據作為訓練集,其余30%的數據作為測試集。訓練過程中,每一輪迭代時將1/7的訓練集數據作為驗證集,測試模型的泛化能力。為提高模型訓練的效果和效率,我們對數據進行了簡單的預處理。首先我們將原始數據減采樣至50 Hz以減少計算量,并對數據作歸一化處理以加快模型訓練的收斂速度。

圖4以混淆矩陣的形式展示了LSTM網絡模型在兩組測試集上的表現。盡管MobiAct數據集中的跌倒與非跌倒樣本比例嚴重失衡(約為1/10),但最終在包含2 520個測試樣本的測試集上判斷錯誤的樣本數僅為8例(4次誤判,4次漏判);同樣,在SisFall數據集的1167例測試數據上,模型判斷錯誤的樣本數僅為7例(3次誤判,4次漏判)。較低的誤報率和漏報率說明算法在兩個數據集上都表現出了較高的識別精確度。

圖4 算法在MobiAct和SisFall測試集上的混淆矩陣

表2從精確度和時延兩方面進一步評估了算法的性能。作為比較,我們測試了其他深度學習模型的性能,比較模型包括一個兩層的卷積神經網絡(CNN),一個兩層的循環神經網絡(RNN)以及一個CNN-LSTM混合網絡。其中RNN和CNN-LSTM中的LSTM部分的參數設置與表1所列相同;CNN和CNN-LSTM中的CNN部分采用了維度為[1,50]的一維卷積核,其余參數與表1一致。

由表2數據可知,本文提出的LSTM網絡在MobiAct和SisFall數據集上都達到了較高的精確度,其中ACC分別為99.68%,99.58%;SEN分別為98.24%,99.27%;SPE分別為99.83%,99.73%。同時,算法時延可以保持在2.2 ms以內(分別為1.221 ms,2.164 ms)。CNN網絡和CNN-LSTM網絡同樣可以在數據集上達到較高的精確度,但它們的時延要大于LSTM。尤其是CNN-LSTM網絡,雖然其精確度與LSTM網絡相近,但時延遠遠大于后者(16 ms以上),這在采樣頻率較高的情況下會影響系統的實時運行。RNN網絡的時延要小于LSTM網絡,這是因為RNN的結構比LSTM簡單,網絡內部的參數更少,計算更加快速。但它的精確度相比于其他網絡下降了許多,ACC僅為96%左右,SEN甚至降到了91%左右。這說明普通的RNN網絡不適合處理較長的時間序列數據。綜上所述,本文提出的跌倒檢測網絡可以更好的平衡精確度和時延兩方面的性能。

SEN反映了算法識別跌倒數據的能力。在實際使用中,我們不希望漏報任何一次跌倒,因此算法的SEN顯得尤為重要。在表2中,MobiAct數據集上的SEN均低于SisFall數據集,這主要是MobiAct數據集中跌倒與非跌倒樣本比例不均衡導致的。這也提醒我們在實際應用中,應盡量保證訓練數據集正負樣本比例的均衡。

3 結論

本文提出了一種基于可穿戴傳感器的LSTM跌倒檢測神經網絡模型。通過滑動時間窗截取時間序列傳感器信息(包括加速度、角速度等信息),原始數據只需進行歸一化等預處理便可作為模型的輸入。神經網絡通過訓練自動學習并提取數據內部的特征,再利用分類器判斷是否為跌倒數據。該方法省去了人工的特征提取,實現了從原始數據到判斷結果的端到端處理。我們使用MobiAct和SisFall兩個跌倒檢測數據集測試模型的性能。實驗結果顯示,本文提出的跌倒檢測模型可以達到較高的精確度(99.58%～99.68%)和較低的時延(2.2 ms以內)。與其他類似模型相比,LSTM跌倒檢測模型能夠在兩方面性能實現較好的平衡。

實驗主要使用中青年跌倒數據來近似模擬老年人跌倒數據,實驗結果驗證了所提算法的可行性。但要得到一個真正適用于老年人跌倒檢測的模型,還需要采集足夠多的老年人的跌倒數據來進一步訓練優化模型,使得模型能夠提取出更適應老年人的數據特征。

本文的測試工作主要為離線測試。目前深度學習在基于可穿戴傳感器的跌倒檢測問題的應用尚未得到廣泛的研究。這主要是受限于可穿戴設備的計算能力和能耗問題。但是嵌入式神經網絡處理單元(NPU)和針對嵌入式設備的輕量級深度學習框架(如TensorFlow Lite)的發展使得在可穿戴設備或智能手機上運行神經網絡成為可能。在未來的工作中,我們需要測試模型的在線使用性能,如在智能手機上的運行效果。算法的能耗也是一個應當考慮的因素,我們需要制定一個低功耗的實時運行框架,以保證系統的正常使用。