基于輪廓關鍵點和LSTM的摔倒檢測方法

衛少潔 周永霞

(中國計量大學信息工程學院 浙江 杭州 310018)

0 引 言

在我國，摔倒是老年人傷害死亡的首要原因。據統計，高齡老年人近一年的摔倒發生率為31.8%，其中32.5%的摔倒情況需要醫療救治，甚至危及生命[1]。當老人發生意外摔倒時，未能及時發現并救治極容易造成無法挽回的危害。因此，急需一種智能高效的方法來解決摔倒行為檢測問題。

目前，針對摔倒行為檢測的研究方法主要有3種類型，分別為可穿戴設備法、環境感知法和計算機視覺法。可穿戴設備法通過手機、手環、智能衣物等設備中的傳感器獲取運動數據，而環境感知法則使用外部環境(如地板、墻壁等)中的嵌入式傳感器獲取人體運動數據，結合SVM、ANN、RNN等算法，對傳感器數據提取特征來檢測摔倒行為的發生[2-6]。可穿戴設備法需隨身攜帶或穿戴檢測設備，存在諸多不便，且誤檢率較高；環境感知法存在場景要求復雜、檢測范圍局限和檢測設備昂貴等缺點，在實際情況下可操作性較差，因此本文采取計算機視覺法進行摔倒檢測。計算機視覺法通常以監控攝像頭采集的視頻作為數據，通過圖像處理和機器學習等方法進行特征提取和算法建模，文獻[7]采用高斯混合模型提取前景圖像，定位人頭位置并計算人體信息，通過設定人體高度和寬高比等特征閾值來判斷摔倒。隨著深度學習算法在圖片分類、識別等多領域取得巨大成功，越來越多的學者嘗試使用卷積神經網絡自動學習人體特征，用于摔倒檢測。文獻[8]通過對圖片提取光流信息作為運動特征，基于光流圖像訓練VGG16網絡進行人體狀態檢測；文獻[9]用背景減除法獲取人體輪廓圖，使用卷積神經網絡來提取特征，最后用softmax計算概率來判決摔倒；文獻[10]提出了一種基于3D卷積和LSTM相結合的摔倒檢測算法，通過3DCNN提取視頻中的運動特征，結合LSTM提取時序特征，實現摔倒判別，該模型由于參數量極大，訓練過程復雜，對硬件設備要求較高，因此在實際應用中不易實現。目前，計算機視覺法多采用雙流法、多幀融合、3D卷積等提取時空特征，這些方法難以有效結合時序特征，導致誤檢率高、泛化性低。而使用LSTM提取時序特征的摔倒檢測模型大多是基于傳感器數據，在計算機視覺法中應用較少，原因在于圖像特征維度較高，特征冗余使模型訓練效率低下，影響模型檢測精度。

針對上述問題，本文提出了一種新的人體輪廓關鍵點特征提取方法，并將該特征提取方法和LSTM相結合提出了一種新的摔倒行為檢測模型(簡稱C- LSTM)。C-LSTM模型首先檢測多幀圖像中人體輪廓關鍵點和質心的坐標，得到人體關鍵點坐標序列；然后將坐標序列分成x坐標序列和y坐標序列，使用兩個LSTM分別提取兩種坐標序列中的時序特征；最后將兩個LSTM隱層輸出向量輸入全連接層得到檢測結果。該模型在摔倒行為檢測和多種行為識別上都達到了較高精度，且與深層卷積網絡模型相比，具有訓練速度快、對設備要求低等優點。

1 相關算法原理

1.1 人體特征提取方法

人體運動過程中，各個部位關鍵點在圖片序列中的坐標變化非常明顯且具有特異性，因此，本文通過結合人體輪廓關鍵點坐標和質心坐標作為人體特征來進行摔倒檢測算法研究。

已有的輪廓特征提取方法通常計算輪廓曲線上每個點到質心的距離作為特征，但該方法存在三個問題：(1) 相鄰幀獲取到的輪廓曲線點集無對應性，輪廓通常基于人體在圖片中最上方像素點開始沿某一方向獲取，但該輪廓點集的選取相對于人體部位而言并沒有統一性，只是秉承最上方原則；(2) 通過計算距離之后的特征變成了相對位置變化，不能有效表征人體的整體移動變化；(3) 每幅圖片中人體的輪廓點個數多且不固定，對于數據建模而言特征冗余且不規則。針對以上問題，本文基于人體質心提出了一種新的輪廓特征提取方法，提取過程如圖1所示，包括輪廓檢測、質心計算和輪廓關鍵點提取。

圖1 特征提取示意圖

具體步驟如下：

2) 遍歷輪廓點坐標集，分別計算人體輪廓在x方向和y方向上的質心坐標，計算過程如式(1)所示：

(1)

式中：p為像素值，最終得到質心坐標(xc,yc)(如圖1(b)所示)。

3) 以質心為基準，根據式(2)在輪廓點坐標集中查找與質心橫坐標xc相等的點組成集合s，取s中y值最大的點(xc,ymax)為輪廓起始點，如圖1(c)圖所示，線段上下兩端分別為起始點和質心，然后將輪廓長度30等分計算間隔，按間隔在輪廓曲線上逆時針提取得到30個輪廓關鍵點。

(2)

4) 結合質心坐標和30個輪廓關鍵點坐標作為本文的人體特征。

1.2 LSTM算法原理

1994年，由Bengio等[11]提出了一種循環神經網絡(Recurrent Neural Networks，RNN)，循環使前一時刻產生的信息傳遞到當前時刻，使網絡能夠記憶歷史信息從而實現對時序特征的處理。但是，RNN訓練困難，隨著序列長度增加，過多的輸入會導致梯度消失和梯度爆炸，因此RNN無法解決長期依賴的問題，導致在實際問題中很難應用。

針對這些問題， Hochreiter等[12]提出了長短期記憶網絡(Long Short-Term Memory，LSTM)。LSTM通過增加細胞狀態并結合門控制，使神經網絡能夠默認記憶長期信息，解決了長期依賴問題。

為了更好地理解LSTM原理，圖2展示了一個LSTM神經元結構，f、i、O、C分別表示遺忘門、輸入門、輸出門和細胞狀態。

圖2 LSTM神經元結構示意圖

通過門控制和更新細胞狀態來記憶長短期信息。式(3)-式(5)分別表示輸入門、輸出門和遺忘門的計算過程:

it=σ(Wi·[ht-1,xt]+bi)

(3)

Ot=σ(Wo·[ht-1,xt]+bo)

(4)

ft=σ(Wf·[ht-1,xt]+bf)

(5)

式中：ht-1為t-1時刻的隱層輸出;xt為t時刻的輸入信息。LSTM有效結合了上一時刻信息和當前輸入信息。當前時刻細胞候選狀態計算如下所示：

(6)

結合輸入門和遺忘門來更新t時刻的細胞狀態Ct：

(7)

最后通過輸出門和細胞狀態計算當前時刻LSTM的隱層輸出：

ht=Ot*tanh(Ct)

(8)

式中：W表示權值矩陣；b為偏置值；σ和tanh分別為Sigmoid激活函數和雙曲正切激活函數。LSTM通過結合門控制和不斷更新每個時刻的細胞狀態，解決了網絡的長期依賴問題，且有效避免了訓練過程中可能出現的梯度爆炸和梯度消失問題，使網絡能夠很好地對時序特征進行學習。

2 摔倒檢測模型

2.1 模型結構

本文的人體摔倒檢測模型結構如圖3所示，首先對圖像進行輪廓檢測、質心計算、輪廓關鍵點提取，得到人體的31個特征關鍵點坐標，連續檢測多幀圖像得到關鍵點坐標序列。基于人體在x軸和y軸上運動變化的差異性，將31個關鍵點坐標分為x坐標值序列和y坐標值序列，經過連續多幀檢測，當坐標序列長度達到LSTM網絡設置的序列長度時，將x坐標序列和y坐標序列分別輸入兩個LSTM網絡進行時序特征提取。之后將兩個LSTM網絡隱層輸出向量展成一維，合并成一個一維向量，輸入一個全連接層，通過全連接層輸出最終檢測結果。

圖3 C-LSTM摔倒檢測模型圖

2.2 模型詳細設置

C-LSTM模型的輸入為視頻幀序列，經過人體特征提取、時序特征提取，最后通過全連接層輸出分類結果。表1為本文模型的詳細參數設置，本文選用均方誤差(Mean-square error，MSE)作為模型的損失函數，采用ReLU(Rectified linear unit)激活函數和Adam(adaptive momentum)優化器構建模型。

表1 模型參數設置

3 數據集與數據處理

3.1 數據集

本文實驗數據集為MuHAVi-MAS14[13]，該數據集是一個多攝像頭行為識別數據集，包含多種日常行為和摔倒行為。表2為數據集詳細介紹，包括14種行為：左摔(CL)、右摔(CR)、左起身(SL)、右起身(SR)、右踢(KR)、右擊(PR)、跳起來踢(GK)、跳起來拳擊(GP)、從左向右跑(RLR)、從右向左跑(RRL)、從左向右走(WLR)、從右向左走(WRL)、左轉身(TL)和右轉身(TR)，以及視頻樣本數量，其中m為攝像頭個數，n為每個視角的視頻樣本數。

表2 數據集介紹

3.2 數據處理

本文通過滑窗法獲取訓練樣本。圖4演示了在一段視頻數據上獲取訓練樣本的過程，設當前視頻行為類別標簽為L，F(n)為第n幀圖像，使用長度為size的窗口，步長為1幀，在視頻圖像序列上沿著幀序滑動，窗口內的圖像序列作為一條訓練樣本，L為該訓練樣本標簽，通過滑動窗口將一段視頻分為多個訓練樣本。

圖4 樣本選取示意圖

然后對獲取到的樣本序列進行歸一化處理，從而加速模型收斂，計算如式(9)所示：

(9)

式中：w和h分別為圖片寬度和高度。

4 實驗與分析

4.1 評價標準

為了驗證模型的可靠性，本文選取了精確度(Precision)、召回率(Recall)、真負率(True Negative Rate,TNR)、漏警率(MA)、虛警率(FA)、準確率(Accuracy)和F1-score 7個評價指標對實驗結果進行評估，計算方法如式(10)-式(16)所示。

(10)

(11)

(12)

(13)

(14)

(16)

4.2 對比模型

為評估C-LSTM模型性能，在特征提取方面本文選取了文獻[14]中的人體輪廓特征提取方法、VGG16和Resnet50網絡，在分類方面選取了隨機森林(Random Forest，RF)、支持向量機(Support Vector Machine，SVM)、多層感知機(Multilayer Perceptron，MLP)進行對比實驗。

文獻[14]輪廓特征提取方法采用輪廓點到質心的加權距離作為特征，有效表征了水平和垂直兩方向變化，具有平移不變性，是效果較好的輪廓特征方法。

VGG16是近年來經典的卷積神經網絡，包含16個卷積層和全連接層，卷積層全部采用了3×3的小卷積，具有良好的分類性能。

Resnet50是一種基于殘差結構的卷積神經網絡，通過快捷連接和恒等映射解決了網絡退化問題，使深層網絡能夠獲得更好的性能，在檢測、分割、識別等多領域均表現出優良性能。

RF由多決策樹通過集成學習方法構成，每一個決策樹對樣本預測一個結果，通過綜合考量所有結果最終給出預測。隨機森林對大部分數據集都表現良好，精確度較高，不容易發生過擬合，且泛化能力強。

SVM基于統計學理論和結構風險最小化原理，對二分類問題性能極佳，適用于小樣本學習，對異常值不敏感，具有良好的魯棒性。

MLP是一種神經網絡模型，包含輸入層、隱藏層和輸出層，層與層之間全連接，對分類問題表現突出。

將本文提出的人體特征提取方法和RF、SVM、MLP結合得到C-RF、C-SVM、C-MLP對比模型；將文獻[14]特征提取方法與LSTM結合得到C0-LSTM對比模型，同時，采用多幀融合方法和卷積神經網絡結合，設置融合幀數為10，得到VGG16-10和Resnet50-10對比模型。

4.3 實驗結果分析

表3為不同模型在多評價指標下的實驗對比結果。實驗顯示，結合本文特征方法的多個模型識別性能較好，證明本文特征優于文獻[14]特征，此外，C-RF、C-MLP與VGG16-10、Resnet50-10模型性能相近，與深層網絡模型相比結構簡單、計算開銷更小，驗證了本文人體特征提取方法的有效性，而本文提出的C-LSTM模型在該數據集上達到了99%以上的識別率，且在多評價指標上優于其他對比模型，驗證了本文模型的有效性。

表3 MuHAVi-MAS14不同模型對比結果

F1-score通過結合Precision指標和Recall指標，能夠綜合評價模型的整體性能。圖5為設置不同序列長度情況下C-LSTM模型與C-SVM、C-MLP、C-RF模型的F1-score對比折線圖，圖中橫軸為不同序列長度size，縱軸為F1-score分數，結果表明，本文模型在以不同size序列為輸入情況下實驗評分優于其他3個對比模型，表現出良好的綜合性能。

圖5 F1-score折線圖

為了驗證模型的泛化能力，本文在MuHAvi-MAS14數據集上對14種行為進行了多分類識別，其中多個行為之間相似度明顯，識別難度較大。表4為本文模型與深度學習模型，以及文獻[14-16]中幾種方法在該數據集上的實驗結果對比，其中，本文模型識別率為90.83%，相比較其他幾種模型均有提升，驗證了本文模型的泛化性。

表4 MAS14多行為識別結果對比

圖6為C-LSTM模型多分類結果的混淆矩陣圖，其中橫軸為14種行為的預測標簽，縱軸為樣本真實標簽，從圖中可看出C-LSTM在絕大多數行為類別上精度很高，驗證了本文模型的泛化性能。

圖6 多行為識別混淆矩陣圖

5 結 語

本文基于人體輪廓提出了一種新的人體特征提取方法，通過結合該方法和LSTM構建了一種新的人體摔倒檢測模型(C-LSTM)，并將其擴展至多行為識別，為人體分割特征和行為識別問題提供了一種新的思路。C-LSTM模型從圖像中提取人體輪廓關鍵點和質心坐標作為人體特征，使用LSTM對特征序列進行時序特征提取來實現人體摔倒檢測。本文在MuHAVi- MAS14公開數據集上進行人體摔倒檢測和多行為檢測實驗，并與多種模型進行對比，實驗表明：本文模型優于對比模型，其人體摔倒識別率達到99%以上，多行為識別率達到90%以上，驗證了本文模型的有效性和泛化性。