基于關(guān)節(jié)點(diǎn)提取的多特征融合人體摔倒檢測

邵曉雷

(安徽建筑大學(xué)電子與信息工程學(xué)院，安徽 合肥 230601)

1 引言(Introduction)

根據(jù)國家統(tǒng)計(jì)局2022 年2 月底發(fā)布的統(tǒng)計(jì)報(bào)告[1]顯示：2021 年末我國的65 周歲及以上人口已經(jīng)達(dá)到20,056萬，占總?cè)丝诒戎氐?4.2%，超過社會(huì)深度老年化14%的界限[2]。根據(jù)世界衛(wèi)生組織統(tǒng)計(jì)：每年直接或間接因摔倒死亡的人數(shù)達(dá)64.6萬[3]，統(tǒng)計(jì)發(fā)現(xiàn)對于摔倒傷害的程度受限于救助的時(shí)間。因此，研究能實(shí)時(shí)高效識(shí)別摔倒動(dòng)作的檢測系統(tǒng)，提醒使用者及時(shí)做出反應(yīng)，對最大限度地減少摔倒帶給老年人的傷害具有重要意義。

目前，主流的人體摔倒檢測方法有基于穿戴式檢測、基于環(huán)境監(jiān)測及基于計(jì)算機(jī)視覺檢測三類。穿戴式檢測方法[4-7]通過人體腰間或手腕等身體部位佩戴的傳感設(shè)備進(jìn)行運(yùn)動(dòng)信號收集，并將收集的數(shù)據(jù)進(jìn)行分析處理后判斷人體是否有摔倒行為，但缺點(diǎn)是設(shè)備穿戴不便和易脫落，而且需要人體隨時(shí)佩戴；環(huán)境檢測方法[8-10]需提前在檢測區(qū)域內(nèi)布置和安裝特定的數(shù)據(jù)傳感器進(jìn)行檢測，對如壓力、聲音、加速度計(jì)和紅外傳感器等異常數(shù)據(jù)進(jìn)行捕獲和分析，但缺點(diǎn)是易受其他異常噪聲影響且維修成本高等；計(jì)算機(jī)視覺檢測方法[11-13]主要是對攝像機(jī)拍攝的視頻內(nèi)容進(jìn)行檢測，主要步驟有圖像分割、目標(biāo)對象提取、特征獲取、特征分析和結(jié)果檢測等。隨著深度學(xué)習(xí)與硬件技術(shù)的快速發(fā)展，基于計(jì)算機(jī)視覺的檢測方法逐漸成為主流，這種檢測方法只需在安全檢測區(qū)域安裝具有一定功能的攝像機(jī)即可實(shí)現(xiàn)覆蓋檢測，并且對環(huán)境要求低，不影響人的正常生活。

2 摔倒檢測方法(Fall detection method)

本研究提出的摔倒檢測方法與現(xiàn)有的基于計(jì)算機(jī)視覺方法相比具有以下優(yōu)點(diǎn)：使用目標(biāo)檢測和Open Pose算法提取人體骨骼關(guān)鍵點(diǎn)，精確度更高；利用二維坐標(biāo)系模型量化人體骨骼關(guān)節(jié)點(diǎn)的向量距離，為人體檢測提供特征依據(jù)；采用的是關(guān)節(jié)點(diǎn)特征和運(yùn)動(dòng)學(xué)特征相融合的方法，將人體外接矩形的寬高比、質(zhì)心節(jié)點(diǎn)的下降速度、頭部關(guān)節(jié)點(diǎn)到地面的距離、人體各軀干與地面呈現(xiàn)的夾角等運(yùn)動(dòng)學(xué)特征作為人體摔倒檢測的判斷條件。

本研究提出的摔倒檢測方法能對視頻數(shù)據(jù)進(jìn)行相關(guān)處理，獲取視頻中人體骨骼關(guān)鍵點(diǎn)數(shù)據(jù)，把人體骨骼關(guān)節(jié)點(diǎn)數(shù)據(jù)放入直角坐標(biāo)系模型中，通過分析關(guān)節(jié)點(diǎn)坐標(biāo)的動(dòng)態(tài)特征分析人體運(yùn)動(dòng)姿態(tài)。主要技術(shù)思路是利用目標(biāo)檢測方法檢測視頻中的人體各個(gè)部分，再利用骨架提取算法提取人體骨骼關(guān)節(jié)點(diǎn)。為進(jìn)一步提高判斷摔倒動(dòng)作的準(zhǔn)確性，減少誤判，設(shè)置關(guān)節(jié)點(diǎn)特征和運(yùn)動(dòng)學(xué)特征相融合作為判斷摔倒動(dòng)作的條件。體摔倒檢測方法流程圖如圖1所示。

圖1 人體摔倒檢測方法流程圖Fig.1 Flowchart of human fall detection method

3 目標(biāo)檢測和骨架提取算法(Object detection and skeleton extraction algorithms)

在進(jìn)行骨架提取之前，先對視頻中的人體進(jìn)行目標(biāo)檢測，定位視頻中人體所在位置，這一操作也可以使后續(xù)的骨架提取更加準(zhǔn)確。目前，檢測視頻中目標(biāo)人體的方法主要分為兩大類：一類是one-stage檢測方法，另一類是two-stage檢測方法，這里主要使用two-stage的Yolo5檢測算法。

Yolo5算法的思想主要包括兩個(gè)部分：第一部分把圖片分成m×n個(gè)網(wǎng)格。對圖片中的每個(gè)網(wǎng)格生成三個(gè)候選區(qū)域，三個(gè)候選區(qū)域是預(yù)先設(shè)定好的三種尺寸的先驗(yàn)框，根據(jù)設(shè)定好的先驗(yàn)框確定圖片預(yù)測框，再根據(jù)先驗(yàn)框和預(yù)測框確定人體真實(shí)框；第二部分采用模型中的卷積層、池化層等提取人體特征，預(yù)測人體位置并分類，可以達(dá)到真實(shí)檢測人體目標(biāo)位置的目的。

檢測完視頻中的人體位置之后，需要提取出人體的骨骼關(guān)節(jié)點(diǎn)信息，這里使用Open Pose算法提取人體骨架數(shù)據(jù)，這一骨架提取方法是由卡內(nèi)基梅隆大學(xué)提出的以caffe為框架的開源庫，它采用自頂向下的動(dòng)作檢測方法，利用親和域場和置信度圖把人體關(guān)節(jié)點(diǎn)正確地連接起來，在人體姿態(tài)識(shí)別方面可以實(shí)時(shí)進(jìn)行姿態(tài)估計(jì)，實(shí)現(xiàn)從二維圖像上提取人體骨骼的關(guān)鍵點(diǎn)。從二維RGB圖像中獲取18 個(gè)關(guān)節(jié)點(diǎn)在直角坐標(biāo)系中對應(yīng)坐標(biāo)圖(圖2)。為便于表示，這里把所有的關(guān)節(jié)點(diǎn)表示為，將節(jié)點(diǎn)i在時(shí)間t的位置定義為，其中。

圖2 人體骨骼關(guān)節(jié)點(diǎn)示意圖Fig.2 Schematic diagram of the joint-point

人體摔倒與其正?；顒?dòng)具有明顯不同：當(dāng)人摔倒時(shí)，人體最小外接矩形的長度和寬度的比值有所不同；人體摔倒過程中身體質(zhì)心點(diǎn)的下降速度會(huì)有明顯變化；人在站立和摔倒時(shí)身體質(zhì)心離地面的距離是明顯不同的；在摔倒過程中，人體的主軀干、腿部和手部與地面之間的夾角也會(huì)有顯著變化。根據(jù)這些特征，下文逐一進(jìn)行分析。

3.1 人體外接矩形的寬高比

人體摔倒動(dòng)作和其他正常動(dòng)作相比，其外接矩形的寬度和高度不同，人體站立時(shí)，外部矩形寬度和高度的比值遠(yuǎn)小于人體摔倒后外部矩形的寬度和高度的比值，可以把人體外部矩形的寬高比作為一個(gè)判斷摔倒動(dòng)作的決策條件，根據(jù)各動(dòng)作的測試特征值，把寬高比閾值設(shè)置為1。人體在站立時(shí)寬高比小于1，人體摔倒之后的寬高比大于1。人體寬高比的計(jì)算如公式(1)。

人體在站立和摔倒時(shí)的人體寬高比的模擬示意如圖3所示。

圖3 人體不同姿態(tài)示意圖Fig.3 Schematic diagram of different postures of the human body

3.2 上體質(zhì)心的下降速度

人在正?；顒?dòng)時(shí)其身體豎直方向的速度不會(huì)發(fā)生明顯變化，一旦發(fā)生摔倒行為，其身體豎直方向的速度會(huì)瞬間發(fā)生明顯變化，并且會(huì)超過某個(gè)速度值。可以把人體質(zhì)心豎直方向的速度作為一個(gè)決策條件，這里選擇圖2中的1 號關(guān)節(jié)點(diǎn)近似表示人體上半身質(zhì)心。獲取人體質(zhì)心的坐標(biāo)?時(shí)刻和時(shí)刻的縱坐標(biāo)分別可以表示為的時(shí)間差及速度變化如公式(2)和公式(3)所示，根據(jù)各動(dòng)作的測試特征值，可以把質(zhì)心豎直方向速度的閾值設(shè)定為

人體摔倒動(dòng)作和其他動(dòng)作的質(zhì)心速度變化特征擬合曲線圖如圖4所示。

圖4 質(zhì)心速度下降趨勢圖Fig.4 Downward trend chart of centroid velocity

3.3 頭部與地面間的距離

檢測視頻中是否發(fā)生摔倒事件時(shí)，人體的行為不同，頭部離地面的距離也不同，人體在摔倒過程中，頭部離地面的距離是逐漸變小的，用頭部離地面的距離可以很好地表示人體摔倒特性，這里把人的鼻子位置近似表示為人體頭部的中心，中心點(diǎn)坐標(biāo)是，視頻中人體出現(xiàn)摔倒動(dòng)作時(shí)，人體頭部中心點(diǎn)離地面的距離會(huì)突然減小，并逐漸小于某個(gè)值。這里定義,這些時(shí)刻，對應(yīng)的中心點(diǎn)縱坐標(biāo)是，如果檢測的中心點(diǎn)縱坐標(biāo)滿足臨界閾值，則可認(rèn)為滿足這一決策條件。根據(jù)各動(dòng)作的測試特征值，可以把距離的閾值范圍設(shè)置為。不同動(dòng)作中心點(diǎn)離地面距離的特征擬合曲線圖如圖5所示。

圖5 中心點(diǎn)離地面距離變化圖Fig.5 Distance variation chart of the center point from the ground

3.4 人體傾斜角變化

人體出現(xiàn)摔倒動(dòng)作一般是軀干失衡導(dǎo)致的。摔倒動(dòng)作這一過程中，人體軀干、腿部及胳膊與地面之間的夾角不斷減小，直到摔倒之后人體與地面接觸，這時(shí)處于穩(wěn)定狀態(tài)，夾角就不再發(fā)生大幅度變化。這里選取圖2中的10 號和13 號關(guān)節(jié)點(diǎn)的中點(diǎn)為，連接和1 號關(guān)節(jié)點(diǎn)，這個(gè)連線作為人體軀干的中心線。定義為向量，2 號與4 號節(jié)點(diǎn)的連線作為右胳膊中心線。定義為向量，5 號和7 號關(guān)節(jié)的連線作為左胳膊中心線，定義為向量，8 號與10 號節(jié)點(diǎn)的連接作為右腿的中心線，定義為向量，11號與13 號關(guān)節(jié)的連線作為左腿的中心線，定義為向量。主軀干與地面之間的夾角可以表示為，同理左、右手臂和左、右胳膊也是同樣的表示方法。當(dāng)各部分與地面之間的夾角小于一定值時(shí)，可以認(rèn)為滿足判斷摔倒動(dòng)作的決策條件，根據(jù)各動(dòng)作測試特征值，把這一閾值設(shè)定為45°。人體主軀干和四肢與地面之間的夾角特征擬合曲線圖分別如圖6和圖7所示。

圖6 主軀干與地面之間夾角變化趨勢圖Fig.6 Change trend chart of included angle between main torso and the ground

圖7 四肢與地面之間夾角變化曲線圖Fig.7 Change trend chart of included angle between limbs and the ground

4 實(shí)驗(yàn)結(jié)果與分析(Experimental results and analysis)

在摔倒測試中，會(huì)有四種可能的結(jié)果出現(xiàn)，第一種情況是實(shí)際發(fā)生了摔倒事件，檢測為摔倒的結(jié)果(TP)；第二種情況是實(shí)際沒有發(fā)生摔倒事件，檢測為摔倒的結(jié)果(FP)；第三種情況是實(shí)際發(fā)生摔倒事件，檢測為沒有摔倒的結(jié)果(TN)；第四種情況是實(shí)際沒有發(fā)生摔倒事件，檢測為沒有摔倒的結(jié)果(FN)。使用以下三種參數(shù)評價(jià)本研究提出的檢測方法性能的好壞。

其中，靈敏性評估摔倒的性能：

特異性評估非摔倒的性能：

準(zhǔn)確性評估摔倒和非摔倒的性能：

為驗(yàn)證本研究提出的檢測方法的準(zhǔn)確性和隨機(jī)性，文中對摔倒事件進(jìn)行相應(yīng)的測試。該實(shí)驗(yàn)具有一定的誤差和偶然性。文中在人體摔倒動(dòng)作的相關(guān)公開數(shù)據(jù)集le2i、UR Fall Detection Dataset、Multiple cameras fall dataset里隨機(jī)抽取相關(guān)動(dòng)作視頻，構(gòu)成40 個(gè)摔倒測試樣本和60 個(gè)非摔倒視頻測試樣本，總數(shù)達(dá)到100 個(gè)的數(shù)據(jù)集：非摔倒動(dòng)作這里分為站立、行走、坐下及彎腰。實(shí)驗(yàn)使用的測試視頻的動(dòng)作分類和樣本數(shù)量如表1所示。

表1 測試動(dòng)作分類Tab.1 Test action classification

實(shí)驗(yàn)得出的結(jié)果中，靈敏性達(dá)到97.5%、特異性達(dá)到95%、準(zhǔn)確性達(dá)到96%，取得了不錯(cuò)的效果，可以有效地區(qū)分摔倒動(dòng)作和正常行為動(dòng)作；實(shí)驗(yàn)得出的靈敏性、特異性、準(zhǔn)確性結(jié)果如表2所示。

表2 文中性能測試結(jié)果Tab.2 Performance test results in the text

將本研究提出的檢測方法與其他檢測方法進(jìn)行比較，文獻(xiàn)[11]提出幀間差分法和ViBe算法對人體目標(biāo)進(jìn)行分離，然后結(jié)合人體運(yùn)動(dòng)過程中的各種特性進(jìn)行判斷，該算法靈敏度較低。文獻(xiàn)[12]使用背景減除法獲取運(yùn)動(dòng)目標(biāo)，與人體不同動(dòng)作特征進(jìn)行融合，該算法受環(huán)境影響較大且準(zhǔn)確性低。文獻(xiàn)[13]通過提取人體關(guān)鍵點(diǎn)，利用關(guān)節(jié)點(diǎn)特征進(jìn)行判斷，該方法對關(guān)節(jié)點(diǎn)的提取不準(zhǔn)確，判斷條件使用不準(zhǔn)確。本研究提出的檢測方法便于實(shí)現(xiàn)、成本較低、受環(huán)境因素影響較小，并且其靈敏性、特異性、準(zhǔn)確性都取得了不錯(cuò)的實(shí)驗(yàn)效果。幾種不同的方法對比結(jié)果如表3所示。

表3 與其他方法實(shí)驗(yàn)對比Tab.3 Experimental comparison with other methods

5 結(jié)論(Conclusion)

本研究提出一種使用人體外接矩形的寬高比，質(zhì)心節(jié)點(diǎn)的下降速度，頭部關(guān)節(jié)點(diǎn)與地面之間的距離，人體主軀干、左右腿、左右胳膊與地面之間的夾角等運(yùn)動(dòng)學(xué)特征融合人體骨架特征進(jìn)行摔倒動(dòng)作進(jìn)行檢測的方法。實(shí)驗(yàn)結(jié)果表明：這種檢測方法的靈敏性、特異性、準(zhǔn)確性分別達(dá)到97.5%、95%、96%。但是，本次實(shí)驗(yàn)使用的數(shù)據(jù)集樣本數(shù)量偏少，運(yùn)動(dòng)目標(biāo)動(dòng)作偏少，因此在下一步的研究中將增加實(shí)驗(yàn)數(shù)據(jù)集樣本和動(dòng)作分類，綜合考慮多人環(huán)境下的人體檢測，以期進(jìn)一步提升檢測效果。