一種結(jié)合Alphapose和LSTM的人體摔倒檢測(cè)模型

衛(wèi)少潔,周永霞

(中國(guó)計(jì)量大學(xué) 信息工程學(xué)院,杭州 310018) E-mail:weishaojie01@163.com

1 引 言

聯(lián)合國(guó)報(bào)告指出,到2050年65歲以上老人將達(dá)世界總?cè)丝跀?shù)的1/6,老年人的醫(yī)療健康問(wèn)題引起了全球的普遍關(guān)注.在影響老人身體健康的因素中,摔倒傷害占比最高[1].當(dāng)老人獨(dú)處時(shí)發(fā)生摔倒,及時(shí)的檢測(cè)和預(yù)警可以極大縮短獲得醫(yī)療救護(hù)的時(shí)間,盡可能保障人們的生命安全.

目前,人體摔倒檢測(cè)主要有基于外部傳感器檢測(cè)和基于計(jì)算機(jī)視覺(jué)檢測(cè)兩種方法.基于外部傳感器檢測(cè)法通常將傳感器嵌入手環(huán)、腰帶、衣服等可隨身穿戴的物品或室內(nèi)墻壁、天花板、地毯等外部環(huán)境中,用于采集人體運(yùn)動(dòng)數(shù)據(jù)[2-5],使用采集得到的數(shù)據(jù)訓(xùn)練MLP[6]、SVM[7]等機(jī)器學(xué)習(xí)算法進(jìn)行人體摔倒檢測(cè).基于計(jì)算機(jī)視覺(jué)的摔倒檢測(cè)法通常使用圖像處理、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等方法對(duì)監(jiān)控視頻進(jìn)行特征提取和摔倒檢測(cè).文獻(xiàn)[8]使用自動(dòng)特征學(xué)習(xí)方法的摔倒檢測(cè)框架,通過(guò)對(duì)不同視角的視頻序列提取人,對(duì)PCAnet模型進(jìn)行訓(xùn)練,最后通過(guò)SVM分類判斷摔倒;文獻(xiàn)[9]使用Faster-RCNN檢測(cè)人體和家具,判斷人體與周?chē)揖咧g的關(guān)系從而判斷人體是否摔倒;文獻(xiàn)[10]使用高斯混合模型檢測(cè)人體得到外接輪廓,通過(guò)多幀融合得到時(shí)間序列信息,最后用一個(gè)淺層CNN判斷摔倒.

基于外部傳感器的摔倒檢測(cè)法需要隨身穿戴傳感器等,存在用戶體驗(yàn)不佳、硬件成本高、檢測(cè)精度低等問(wèn)題.現(xiàn)有基于計(jì)算機(jī)視覺(jué)的摔倒檢測(cè)法存在檢測(cè)場(chǎng)景適應(yīng)性差和不同摔倒姿勢(shì)誤檢率高等問(wèn)題.針對(duì)上述問(wèn)題,本文提出了一種基于Alphapose和LSTM的人體摔倒檢測(cè)模型.該模型采用Alphapose對(duì)視頻中人體進(jìn)行骨骼關(guān)鍵點(diǎn)檢測(cè),將得到的骨骼點(diǎn)坐標(biāo)分為x坐標(biāo)值和y坐標(biāo)值兩類,分別訓(xùn)練兩個(gè)LSTM神經(jīng)網(wǎng)絡(luò),將兩個(gè)LSTM隱層輸出合并后輸入一個(gè)全連接網(wǎng)絡(luò)分類,實(shí)現(xiàn)人體摔倒檢測(cè),避免了場(chǎng)景依賴性,并在公開(kāi)數(shù)據(jù)集上與多個(gè)模型進(jìn)行對(duì)比,表明本模型具有更好的性能.

2 模型算法

2.1 Alphapose骨骼檢測(cè)模型

Alphapose采用自頂向下的方法,骨骼檢測(cè)示意圖如圖1所示.先用目標(biāo)檢測(cè)算法檢測(cè)人,再用SPPE(single person pose estimation)算法對(duì)檢測(cè)到的人做姿態(tài)估計(jì).

圖1 骨骼檢測(cè)示意圖Fig.1 Detection of skeleton keypoints

已有的骨骼模型主要有兩個(gè)問(wèn)題:定位錯(cuò)誤和產(chǎn)生冗余檢測(cè)結(jié)果.針對(duì)這些問(wèn)題,Alphapose模型添加了三個(gè)模塊:對(duì)稱空間變換網(wǎng)絡(luò)(Symmetric space transformation network,SSTN)、由姿態(tài)引導(dǎo)的樣本生成器(Pose-guided Proposals Generator,PGPG)和姿態(tài)非極大值抑制器(Parametric Pose Non-Maximum Suppression,PPNMS).SSTN的作用為對(duì)人體檢測(cè)框進(jìn)行感興趣區(qū)域提取,達(dá)到自動(dòng)調(diào)整檢測(cè)框的目的,通過(guò)添加該模塊使圖1 中目標(biāo)檢測(cè)結(jié)果更加準(zhǔn)確.PGPG作用為對(duì)已有的數(shù)據(jù)進(jìn)行姿態(tài)引導(dǎo)的數(shù)據(jù)擴(kuò)充,增加訓(xùn)練樣本,達(dá)到數(shù)據(jù)增強(qiáng)的目的,作用于目標(biāo)檢測(cè)和SPPE的訓(xùn)練.PPNMS是一種參數(shù)化姿態(tài)非極大抑制方法,通過(guò)定義姿態(tài)距離計(jì)算姿態(tài)相似度來(lái)消除冗余的檢測(cè)框,當(dāng)相似度低于某一閾值時(shí)作為冗余框刪除.通過(guò)結(jié)合這三個(gè)模塊,Alphapose實(shí)現(xiàn)了更精確的骨骼檢測(cè).

文獻(xiàn)[11]在COCO數(shù)據(jù)集和MPII數(shù)據(jù)集上對(duì)多種骨骼檢測(cè)模型進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果表明Alphapose為目前精度最高的骨骼檢測(cè)模型.本文采用Alphapose對(duì)人體的18個(gè)骨骼關(guān)鍵點(diǎn)進(jìn)行檢測(cè),得到18個(gè)骨骼關(guān)鍵點(diǎn)在該幀圖像中的(x,y)坐標(biāo).

2.2 LSTM網(wǎng)絡(luò)模型

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[12]中,每個(gè)時(shí)刻網(wǎng)絡(luò)的輸出都可以在下一時(shí)刻直接作用到自身,即當(dāng)前時(shí)刻網(wǎng)絡(luò)的最終結(jié)果是該時(shí)刻的輸入信息和所有歷史信息共同作用的結(jié)果,因此,RNN能夠處理時(shí)間序列信息.但是,隨著網(wǎng)絡(luò)層加深,神經(jīng)元個(gè)數(shù)不斷增加,RNN在實(shí)際訓(xùn)練時(shí)常存在梯度消失和梯度爆炸的問(wèn)題,導(dǎo)致網(wǎng)絡(luò)最終無(wú)法正常訓(xùn)練.針對(duì)這些問(wèn)題,Hochreiter & Schmidhuber等人[13]在1997年提出了LSTM(Long Short-Term Memory),通過(guò)門(mén)控制和更新細(xì)胞狀態(tài)將短期記憶與長(zhǎng)期記憶結(jié)合起來(lái),解決了神經(jīng)網(wǎng)絡(luò)中的長(zhǎng)期依賴問(wèn)題,讓網(wǎng)絡(luò)能夠默認(rèn)記憶長(zhǎng)期信息.文獻(xiàn)[14-16]均應(yīng)用了LSTM模型及其改進(jìn)方法,取得了不錯(cuò)的效果.圖2為L(zhǎng)STM神經(jīng)元結(jié)構(gòu)示意圖.

LSTM神經(jīng)單元包含輸入門(mén)i、遺忘門(mén)f、細(xì)胞狀態(tài)C和輸出門(mén)O,通過(guò)門(mén)和細(xì)胞狀態(tài)來(lái)控制長(zhǎng)短期記憶.其計(jì)算過(guò)程可表示為公式(1)到公式(6).

it=σ(Wi·[ht-1,xt]+bi)

(1)

(2)

ft=σ(Wf·[ht-1,xt]+bf)

(3)

(4)

Ot=σ(Wo·[ht-1,xt]+bo)

(5)

ht=Ot*tanh(Ct)

(6)

圖2 LSTM神經(jīng)元結(jié)構(gòu)示意圖Fig.2 Structure of LSTM Cell

3 人體摔倒檢測(cè)模型

本文提出的基于Alphapose和LSTM的人體摔倒檢測(cè)模型結(jié)構(gòu)如圖3所示,首先將視頻分割成幀,該模型每次讀取視頻的一幀圖像,輸入Alphapose模型檢測(cè)得到人體的18個(gè)骨骼點(diǎn)坐標(biāo).在運(yùn)動(dòng)過(guò)程中,人體骨骼點(diǎn)x坐標(biāo)變化和y坐標(biāo)變化存在明顯差異,所以本文采用兩個(gè)LSTM網(wǎng)絡(luò)分別對(duì)其進(jìn)行訓(xùn)練.將得到的18個(gè)坐標(biāo)拆分成x坐標(biāo)值(x1,x2,…,x18)和y坐標(biāo)值(y1,y2,…,y18),上述步驟連續(xù)檢測(cè)多幀圖像后可以得到x坐標(biāo)值序列和y坐標(biāo)值序列.當(dāng)x坐標(biāo)值序列和y坐標(biāo)值序列的長(zhǎng)度滿足設(shè)置的LSTM輸入序列長(zhǎng)度size后,將兩種序列分別輸入兩個(gè)LSTM進(jìn)行時(shí)序特征提取.之后每檢測(cè)到一幀新的圖像骨骼數(shù)據(jù),就將新的x坐標(biāo)值和y坐標(biāo)值加入到序列中,并刪除序列中最舊的坐標(biāo)值,保持x坐標(biāo)值序列和y坐標(biāo)值序列的長(zhǎng)度始終為size.LSTM隱層的輸出向量即為提取到的時(shí)序特征,對(duì)兩個(gè)LSTM的隱層輸出向量進(jìn)行Flatten和Merge操作以滿足全連接層輸入要求.最后,將合并后的時(shí)序信息通過(guò)一個(gè)全連接層進(jìn)行分類,計(jì)算輸出模型的分類結(jié)果,判斷是否摔倒.

4 數(shù)據(jù)集與數(shù)據(jù)處理

4.1 數(shù)據(jù)集

本文選用MuHAVi-MAS17和Le2i兩個(gè)公開(kāi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn).MuHAVi-MAS17[17]數(shù)據(jù)集是一個(gè)行為識(shí)別數(shù)據(jù)集,包含摔倒、走路、跑步、起身等17種行為,其中ShotGunCollapse數(shù)據(jù)為摔倒行為,該數(shù)據(jù)集由均勻分布在場(chǎng)景周?chē)?個(gè)攝像頭采集獲得,共包含7個(gè)人數(shù)據(jù),每個(gè)人包含8個(gè)視角,摔倒姿勢(shì)為側(cè)后方左摔和側(cè)后方右摔,視頻分辨率為720×576,攝像頭離人體較遠(yuǎn),畫(huà)面中人較為模糊.

圖3 模型結(jié)構(gòu)示意圖Fig.3 Structure of Model

Le2i[18]摔倒數(shù)據(jù)集包含Home、Coffee room、Office、Lecture room四個(gè)場(chǎng)景,人體行為包含:摔倒、坐下、行走、拿東西、彎腰撿東西、下樓、掃地等,摔倒姿勢(shì)包括前摔、側(cè)摔、后側(cè)摔等多種姿勢(shì),視頻分辨率為320×240,攝像頭離人體較近,畫(huà)面中人較為清晰.

4.2 數(shù)據(jù)處理

針對(duì)樣本中常存在奇異數(shù)據(jù)使網(wǎng)絡(luò)無(wú)法收斂,增加網(wǎng)絡(luò)訓(xùn)練時(shí)間,為了避免該問(wèn)題,同時(shí)增強(qiáng)模型通用性,遂對(duì)樣本數(shù)據(jù)做歸一化處理.本文主要對(duì)Alphapose模型提取到的骨骼點(diǎn)坐標(biāo)進(jìn)行了歸一化處理,方法如公式(7)所示:

(7)

LSTM訓(xùn)練樣本通過(guò)滑窗法獲取.首先設(shè)置樣本大小為size,如圖4所示,size為n的滑動(dòng)窗口內(nèi)包含的序列為訓(xùn)練輸入樣本,當(dāng)前幀n的標(biāo)簽L(n)為該樣本標(biāo)簽,其中X(n)和Y(n)分別為對(duì)應(yīng)幀序的18個(gè)骨骼點(diǎn)的x坐標(biāo)和y坐標(biāo)集合,即X(n)={x1,x2,…,x18},Y(n)={y1,y2,…,y18}.窗口沿幀序每次向右滑動(dòng)一幀來(lái)獲取新樣本,即取下一個(gè)樣本時(shí),滑動(dòng)窗口末尾處新增下一幀數(shù)據(jù),窗口起始處刪除起始幀數(shù)據(jù),保持樣本的大小不變,獲取新增幀標(biāo)簽為新樣本標(biāo)簽,據(jù)此,通過(guò)窗口不斷滑動(dòng)得到所有的訓(xùn)練樣本.

圖4 樣本處理示意圖Fig.4 Processing of samples

5 實(shí) 驗(yàn)

本文的實(shí)驗(yàn)執(zhí)行環(huán)境為:windows 10,處理器為 Intel(R)Core(TM)i7-6700 CPU @3.4GHz,內(nèi)存8G,顯卡為 GTX 1060 3GB.編程語(yǔ)言為python3.6,開(kāi)發(fā)工具為Pycharm 2017,使用Keras框架進(jìn)行網(wǎng)絡(luò)搭建,訓(xùn)練和測(cè)試.

5.1 評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)樣本分為四類,其中真正例TP(True Position)表示正樣本被模型正確分類為正樣本;假正例FP(False Position)表示負(fù)樣本被模型錯(cuò)誤分類為正樣本;假反例FN(False Negative)表示正樣本被模型錯(cuò)誤分類為負(fù)樣本;真反例TN(True Negative)表示負(fù)樣本被模型正確分類為負(fù)樣本.

本文選用了摔倒檢測(cè)常用的7個(gè)評(píng)價(jià)標(biāo)準(zhǔn)來(lái)評(píng)判實(shí)驗(yàn)結(jié)果的可靠性.

精確度(Precision)表示模型正確分類的摔倒樣本占分類為摔倒樣本的比重,如公式(8)所示.

(8)

召回率(Recall)表示模型正確分類的摔倒樣本占實(shí)際摔倒樣本的比重,如公式(9)所示.

(9)

真負(fù)率(True Negative Rate,TNR)表示模型正確分類的非摔倒樣本占實(shí)際非摔倒樣本的比重,如公式(10)所示.

(10)

漏警率(MA)表示模型錯(cuò)分為非摔倒的摔倒樣本占實(shí)際摔倒樣本總數(shù)的比重,如公式(11)所示.

(11)

虛警率(FA)表示模型錯(cuò)分為摔倒的非摔倒樣本占所有分類為摔倒樣本的比重,如公式(12)所示.

(12)

準(zhǔn)確率(Accuracy)表示模型分類正確(包括摔倒和非摔倒)的樣本占所有樣本的比重,是評(píng)價(jià)模型整體性能的評(píng)價(jià)指標(biāo),如公式(13)所示.

(13)

F1-measure(又稱F-score)為分類模型常用的一個(gè)綜合性評(píng)價(jià)指標(biāo),如公式(14)所示.

(14)

5.2 實(shí)驗(yàn)結(jié)果分析

MuHAVi-MAS17數(shù)據(jù)集中,選取摔倒過(guò)程和摔倒后躺下的狀態(tài)為摔倒樣本,其他狀態(tài)行為為非摔倒樣本(如站立,行走,起身等).該數(shù)據(jù)集包含7個(gè)人的樣本,本文采用交叉驗(yàn)證的方式進(jìn)行實(shí)驗(yàn),即每次取一個(gè)人的數(shù)據(jù)作為測(cè)試集,其他六人數(shù)據(jù)為訓(xùn)練集,先求得每個(gè)人作為測(cè)試集的測(cè)試結(jié)果,最后求7次測(cè)試結(jié)果的平均值為最終結(jié)果,保證實(shí)驗(yàn)的可靠性.

MuHAVi-MAS17數(shù)據(jù)集在7個(gè)評(píng)價(jià)標(biāo)準(zhǔn)下的實(shí)驗(yàn)結(jié)果如表1所示,其中表頭第一行的p1-p7表示第1個(gè)人到第7個(gè)人,Average為7個(gè)人測(cè)試結(jié)果的平均值.表1實(shí)驗(yàn)結(jié)果表明,本文模型在MuHAVi-MAS17數(shù)據(jù)集上達(dá)到了92%的識(shí)別率.

表1 MuHAVi-MAS17數(shù)據(jù)集結(jié)果
Table 1 Performance on MuHAVi-MAS17 dataset

p1p2p3p4p5p6p7AveragePrecision0.89 0.84 0.91 0.99 0.93 0.66 0.67 0.84 Recall0.85 0.80 0.72 0.80 0.83 0.80 0.89 0.81 TNR0.97 0.95 0.97 1.00 0.97 0.94 0.93 0.96 MA0.15 0.20 0.28 0.20 0.17 0.20 0.11 0.19 FA0.11 0.16 0.09 0.01 0.07 0.34 0.33 0.16 F-score0.87 0.82 0.80 0.88 0.88 0.73 0.76 0.82 Accuracy0.95 0.91 0.89 0.94 0.92 0.92 0.92 0.92

為了進(jìn)一步評(píng)價(jià)模型性能,本文以Alphapose為骨骼檢測(cè)模型,選取了三個(gè)分類模型進(jìn)行對(duì)比.分別是支持向量機(jī)(Support Vector Machine,SVM)、多層感知器(Multilayer Perceptron,MLP)和隨機(jī)森林(Random Forest,RF).SVM基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化理論,通過(guò)找到幾個(gè)支持向量來(lái)確定一個(gè)超平面使樣本分為兩類,并且間隔最大,算法不容易過(guò)擬合,是介于簡(jiǎn)單算法和神經(jīng)網(wǎng)絡(luò)算法之間性能極佳的算法.MLP是一種典型的神經(jīng)網(wǎng)絡(luò)模型,采用前向結(jié)構(gòu),每一層之間都進(jìn)行全連接,是單層感知機(jī)的推廣,能夠解決單層感知機(jī)不能解決的非線性問(wèn)題.RF采用決策樹(shù)作為基學(xué)習(xí)器,基于Baggiing思想集成,對(duì)于分類回歸、異常點(diǎn)檢測(cè)等具有良好的特性.以上三個(gè)模型都是分類模型中經(jīng)常使用且性能較好的機(jī)器學(xué)習(xí)方法,因此本文選擇與這些模型進(jìn)行對(duì)比.

對(duì)比模型在MuHAVi-MAS17數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示,表中分別為3個(gè)對(duì)比模型和本文模型在7個(gè)評(píng)價(jià)指標(biāo)下的實(shí)驗(yàn)對(duì)比結(jié)果.從表中可以看出,本文提出的模型在多個(gè)評(píng)價(jià)指標(biāo)上明顯優(yōu)于其他三個(gè)模型.

Accuracy是評(píng)價(jià)模型整體分類性能的指標(biāo),F-score是分類模型最常用的綜合性評(píng)價(jià)指標(biāo),圖5圖6分別為設(shè)置不同樣本大小訓(xùn)練模型得到的4個(gè)模型精確度對(duì)比折線圖和F-score對(duì)比折線圖.從圖中可以看出,本文模型在不同size上基本優(yōu)于其他三個(gè)模型,表現(xiàn)出更好的性能.

表2 MuHAVi-MAS17不同模型對(duì)比結(jié)果
Table 2 Performance of different models on MuHAVi-MAS17

SVMMLPRFoursPrecision0.78140.74680.81850.8406Recall0.22250.72490.78560.8140TNR0.98230.91980.94920.9596MA0.77750.27510.21440.1860FA0.21860.25320.18150.1594F-score0.33540.70310.7820.8206Accuracy0.79380.86270.90290.9214

Le2i數(shù)據(jù)集中正負(fù)樣本的選取規(guī)則同MuHAVi-MAS17數(shù)據(jù)集,該數(shù)據(jù)集包含4個(gè)不同室內(nèi)場(chǎng)景,實(shí)驗(yàn)分別對(duì)每個(gè)場(chǎng)景進(jìn)行交叉驗(yàn)證得到測(cè)試結(jié)果,4個(gè)場(chǎng)景測(cè)試結(jié)果的平均值作為最終結(jié)果.Le2i數(shù)據(jù)集在7個(gè)評(píng)價(jià)指標(biāo)下的實(shí)驗(yàn)結(jié)果如表3所示,實(shí)驗(yàn)數(shù)據(jù)表明,本模型在該數(shù)據(jù)集上實(shí)現(xiàn)了99%以上的識(shí)別率.

圖5 精確度折線圖Fig.5 Accuracy line chart

圖6 F-score折線圖Fig.6 F-score line chart

表3 Le2i數(shù)據(jù)集結(jié)果
Table 3 Performance on le2i dataset

CoffeeHoomLectureOfficeAveragePrecision0.9988 0.9955 0.9990 1.0000 0.9983 Recall0.9992 0.9968 0.9558 0.9989 0.9877 TNR0.9983 0.9987 0.9992 0.8889 0.9713 MA0.0008 0.0032 0.0442 0.0011 0.0123 FA0.0012 0.0045 0.0010 0.0000 0.0017 F_score0.9990 0.9960 0.9755 0.9994 0.9925 Accuracy0.9987 0.9985 0.9950 0.9991 0.9979

文獻(xiàn)[19]采用雙流卷積神經(jīng)網(wǎng)絡(luò)方法在Le2i數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),該模型方法較新、結(jié)果較好,因此本文選擇跟文獻(xiàn)[19]進(jìn)行對(duì)比.本文模型與文獻(xiàn)[19]方法在Le2i數(shù)據(jù)集上的對(duì)比結(jié)果如表4所示,表中包含4個(gè)場(chǎng)景的識(shí)別率和平均識(shí)別率,實(shí)驗(yàn)數(shù)據(jù)表明,本文識(shí)別率比文獻(xiàn)[19]中3D-CNN方法提高8%,比Two-Stream CNN方法提高3%.

表4 Le2i數(shù)據(jù)集對(duì)比結(jié)果
Table 4 Compare on le2i dataset

CoffeeHoomLectureOfficeAverage3D-CNN[19]0.900.930.950.880.915Two-Stream CNN[19]0.94 0.98 0.97 0.95 0.96 ours0.9987 0.9985 0.9950 0.9991 0.9979

6 總 結(jié)

針對(duì)現(xiàn)有人體摔倒檢測(cè)方法對(duì)不同場(chǎng)景的適應(yīng)性低和誤檢率高等問(wèn)題,本文提出了一種基于Alphapose和LSTM的摔倒檢測(cè)模型,該模型使用Alphapose對(duì)人體骨骼關(guān)鍵點(diǎn)進(jìn)行檢測(cè),去除不同場(chǎng)景帶來(lái)的干擾,使用骨骼關(guān)鍵點(diǎn)數(shù)據(jù)訓(xùn)練LSTM來(lái)實(shí)現(xiàn)人體摔倒檢測(cè).本文在MuHAVi-MAS17和Le2i兩個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),并與多種檢測(cè)模型進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果表明本文模型在不同場(chǎng)景、不同視角和不同摔倒姿勢(shì)情況下都有較高的檢測(cè)精度.