基于改進Alphapose的紅外圖像人體摔倒檢測算法

張 鵬，沈玉真，李培華，張愷翔

基于改進Alphapose的紅外圖像人體摔倒檢測算法

張 鵬，沈玉真，李培華，張愷翔

（中航華東光電有限公司，安徽 蕪湖 241002）

紅外圖像中的人體摔倒檢測不受環境光照射的影響，在智能安防領域有著重要的研究意義和應用價值。現有的摔倒檢測方法沒有充分考慮人體關鍵點的位置變化規律，容易對類摔倒動作造成誤檢。針對這一問題，本文提出一種基于改進Alphapose的紅外圖像摔倒檢測算法。該算法使用Yolo v5s目標檢測網絡，在提取人體目標框輸入姿態估計網絡的同時，對人體姿態進行直接分類，再結合人體骨架關鍵點的位置信息和姿態特征進行判斷。通過實驗證明，該算法在準確度和實時性方面都有良好的表現。

紅外圖像；摔倒檢測；關鍵點；目標檢測

0 引言

人體摔倒檢測可以有效地檢測視頻中的摔倒行為，降低人在摔倒后無法及時呼救的風險[1-3]。現有的基于計算機視覺的人體摔倒檢測方法大多使用可見光圖像，這類方法受光照影響在昏暗環境下效果不佳。紅外圖像能夠保護個人隱私，而且不受光照和惡劣天氣的影響，適用于全天候的人體摔倒檢測，本文將對紅外圖像摔倒檢測算法進行研究。現有的人體摔倒檢測方法大致可分為以下3類：1）基于Freeman鏈碼的檢測方法，文獻[4]利用Freeman鏈碼記錄輪廓信息，計算實際Freeman鏈碼與摔倒模板鏈碼的歐式空間距離結合時間判定條件判斷是否發生摔倒行為，但在大規模遮擋時容易出現誤差；2）基于關鍵點的摔倒檢測方法，文獻[5]利用建立的紅外圖像摔倒數據集進行CenterNet網絡訓練，識別紅外圖像中的人體姿態，但沒有突出摔倒動作的時序性，容易對緩慢坐地等類摔倒動作造成誤檢；3）基于寬高比和質心變化率的檢測方法，文獻[6]利用人體寬高比這一特征來判斷是否有人摔倒，并使用質心變化率和有效面積比對容易造成誤判的情況進行修正，從幾何特征的角度判斷人體是否摔倒，但對特定角度的摔倒檢測效果不佳。

針對上述算法的不足，本文在現有的摔倒檢測方法的基礎上提出了一種基于改進Alphapose的紅外圖像摔倒檢測算法，該算法使用改進后的Alphapose檢測紅外圖像中的骨架關鍵點和人體姿態，利用得到的人體骨架關鍵點信息和姿態類別進行摔倒判定，兼顧了摔倒動作的時序性和前后動作的關聯性。

1 改進的Alphapose算法

1.1 YOLO v5s

人體檢測的精度直接影響后續關鍵點檢測的效果，是整個算法精度的保證。YOLO系列算法[7-9]將候選框的搜索和目標的識別定位合二為一，相對于RCNN[10-12]系列算法先搜索再識別的兩階段處理模式，YOLO算法的處理速度更快，適用于端到端的訓練與預測，目前已發展至YOLO v5版本。YOLO v5的目標檢測網絡有4種版本，主要區別在于網絡深度不同，如表1所示。

表1 YOLO v5各版本參數對比

從表1可以看到，YOLO v5s的模型更小、速度更快，方便部署在嵌入式設備上，本文算法使用YOLO v5s的網絡結構。

YOLO v5s網絡首先使用Focus模塊對輸入圖像進行切片操作，如圖1所示。如果網絡輸入的圖片大小為640×640×3，則將圖像隔行隔列取值，生成320×320×12的子圖，再通過32個卷積核卷積生成320×320×32的特征圖。相對于普通下采樣，Focus模塊保留了原始圖片的完整信息。

圖1 Focus模塊

YOLO v5s的Backbone部分使用了CSP[13]模塊，將輸入的特征映射劃分為兩部分，其中一部分經過多個殘差組件和卷積，然后與另一部分拼接，在減少計算量的同時可以保證準確率。

Neck部分采用了PANet[14]結構，主要用于生成特征金字塔。特征金字塔會增強模型對于不同縮放尺度對象的檢測，從而能夠識別不同大小和尺度的同一個物體。

1.2 Alphapose算法

Alphapose[15]算法是一種人體姿態估計算法，能夠檢測出圖像中的人體骨架，其提出一種區域多人姿態估計框架（regional multi-person pose estimation，RMPE），主要由對稱空間變換網絡（symmetric spatial transformer network，SSTN）、參數化姿態非極大抑制（parametric pose no-maximum-suppression，PP-NMS）、姿態引導建議發生器（pose-guided proposals generator，PGPG）和并行單人姿態估計器（parallel single person pose estimation，Parallel SPPE）組成，其中PGPG用于生成大量訓練樣本，Parallel SPPE則充當額外的正則項，以避免局部最小值，而SSTN又由空間變換網絡（STN）、單人姿態估計器（SPPE）和空間反變換網絡（spatial de-transformer network，SDTN）組成。Alphapose首先使用目標檢測算法檢測單張圖片，得到單人人體目標框，作為RMPE的輸入，進入SSTN模塊。檢測到的人體目標框可能目標偏離中心或者目標框中人體占比過小，影響后續姿態估計的效果，所以需要先使用STN提取出高質量的單人區域，然后輸入SPPE得到估計的姿態，再由SDTN將估計的姿態反變換到原始人體區域框中。冗余的人體區域框輸入姿態估計網絡，可能會檢測到冗余的姿態。Alphapose提出PP-NMS用來消除多余的姿態。其定義了一種姿態距離來度量姿態間的相似度，并在此基礎上建立了冗余姿態的消除標準。PP-NMS首先選取最大置信度的姿態作為參考，并且根據消除標準將靠近該參考的區域框進行消除，多次重復這個過程直到消除所有的冗余識別框。

1.3 改進的Alphapose算法

原Alphapose算法主要使用的人體檢測器是YOLO v3，與之相比，YOLO v5s的模型更小，速度更快。本文算法使用YOLO v5s作為Alphapose的人體檢測器，改進后的Alphapose算法結構如圖2所示。

改進后的算法使用YOLO v5s網絡完成對人體姿態的直接分類，同時從輸入的紅外圖像中提取人體區域框，輸入人體姿態估計網絡檢測人體骨架關鍵點，將關鍵點信息與預測的姿態類別一并輸出。

2 基于改進Alphapose的紅外圖像摔倒檢測方法

本文提出基于改進Alphapose的紅外圖像摔倒檢測算法。該算法首先使用YOLO v5s網絡對圖像中的人體姿態進行分類，再提取人體目標框檢測出單人的骨架關鍵點，最后利用關鍵點和姿態類別信息，通過關鍵點分析和摔倒判定，判斷是否出現摔倒。

圖2 改進的Alphapose算法結構

2.1 關鍵點分析

Alphapose算法檢測出的人體骨架關鍵點如圖3所示。

圖3 Alphapose關鍵點檢測結果

圖3(a)是站立時的人體骨架，圖3(b)是摔倒后的人體骨架。圖中編號為0～17的點代表檢測得到的18個人體骨架關鍵點，其中點11和點12所在位置代表髖關節。

通過實驗發現，站立或行走的人體目標在發生摔倒時，最直觀的表現是髖關節位置在垂直方向上的迅速下跌，所以通過監測髖關節在序列幀中的移動速度可以及時發現產生的摔倒動作。但隨著運動中的人體目標與攝像頭的距離越來越遠，其髖關節在圖像上的位移速度也越來越小，容易造成漏檢。針對該問題，本文提出以前一幀中人體目標框的高度作為參考對象，計算髖關節關鍵點的相對移動速度。

在對紅外視頻的檢測中，設第幀與第－1幀均為單人紅外圖像，2≤≤，表示紅外視頻的總幀數，且都是非遮擋狀態，其髖關節關鍵點均被檢出。設圖像左上角為原點，水平向右為軸正方向，垂直向下為軸正方向，建立直角坐標系。記第幀人體骨架中編號為的關鍵點的縱坐標為y，取點11和點12的中心點代表髖關節，則點在第幀中的縱坐標y如式(1)所示。

在摔倒過程中，當前一幀人體目標框的高度明顯小于其寬度時，即使下降速度不變，也會因為前一幀目標框高度減小，導致計算得到的速度偏大，所以本算法引入前一幀人體目標框的寬高比作為限制條件，防止前一幀目標框寬高比過大導致點的微小起伏被誤識別為摔倒。記第幀中人體目標框的高度為H，寬度為W，則第幀中的人體寬高比P如公式(2)所示：

記第幀中點在垂直方向上的相對移動速度為v，如公式(3)所示：

設置大于0的閾值Th，檢測可能出現的摔倒行為，如公式(4)所示。

當F等于1時，判斷可能發生了摔倒。

2.2 摔倒判定

僅僅分析關鍵點的下落速度有可能將快速下蹲、俯身拾取等類摔倒動作誤識別為摔倒，為了減少誤判，需要結合關鍵點分析結果和姿態分類做進一步判定。

經實驗發現，摔倒后人體姿態會在短時間內穩定，直觀表現是坐在地上、躺下或手部撐地，所以本文算法在經過關鍵點分析判斷有可能發生摔倒后，繼續檢測后續多幀內的人體姿態。

在統計后續的人體姿態中，若第幀圖像中人體姿態類別為l，則對應的人體圖像得分為s，兩者關系可用公式(5)表示：

式(5)中：當圖像中的人體姿態類別l為“sit_flat”（坐地）、“lie”（躺下）、“push_up”（撐地）這3種姿態中的任意一種時，該人體圖像的得分記為1，否則得分記為0。

當F＝1，即第幀檢測到可能發生摔倒時，繼續檢測后續20幀圖像的人體姿態，若累計圖像得分大于10，最終判定為摔倒，記為FF＝1，如公式(6)所示：

在實時檢測過程中，以實時視頻流作為輸入，檢測每一幀當前畫面中的人體姿態和骨架關鍵點。從第二幀開始，如果前一幀與當前幀均檢測出同一人的髖關節位置，即“無遮擋”狀態，則進行關鍵點分析，計算髖關節關鍵點在這相鄰兩幀間的相對移動速率和方向。當滿足可能摔倒的條件后，進行摔倒判定，開始統計后續20幀圖像中的姿態類別，如果滿足最終摔倒條件，則判斷為一次摔倒。實時檢測的情況下一次完整的摔倒檢測流程圖如圖4所示。

3 數據集

3.1 采集和分類

本文使用的數據集分為3部分。第一部分是自建的室內紅外數據集，攝像頭采用艾睿光電紅外熱成像模組Xmodule T3，分辨率384×288，樣本共6787張，場景包括走廊、辦公室、大廳等室內場景；第二部分是運動物體熱紅外成像數據集（moving object thermal infrared imagery dataset，MOTIID），樣本取自其中三段室外行人行走的視頻，獲取樣本571張，均為室外場景；第三部分使用的是開放的免費FLIR熱數據集FLIR_ADAS，獲取樣本926張。

本文對紅外圖像下的人體姿態定義了8種類別，分別是“直坐”、“躺下”、“下蹲”、“站立”、“彎腰”、“撐地”、“坐地”和“遮擋”，如圖5所示。

圖4 總體算法流程

圖5 姿態分類：(a) 直坐；(b) 躺下；(c) 下蹲；(d) 站立；(e) 彎腰；(f) 撐地；(g) 坐地；(h) 遮擋

3.2 數據預處理

本文采用了Mosaic數據增強的方式對訓練數據進行預處理，如圖6所示，Mosaic數據增強通過每次隨機抽取數據集中的4張圖片，采用隨機裁剪、隨機縮放、隨機組合的方式生成一張新的訓練圖片。通過Mosaic數據增強，能夠豐富場景內容，增強樣本多樣性，提高目標檢測算法的抗干擾性。

4 實驗分析

本實驗的實驗環境為Win10_x64平臺，CPU為Intel Core i7-9750H，內存16G，GPU為NVIDIA GeForce RTX 2060，使用框架為torch1.6.0＋opencv-python4.4.0，輸入圖片尺寸384×288，學習率為0.01，epochs為100。實驗分為兩部分：進行紅外人體骨架檢測實驗，以測試本文算法定位精度和實時性；進行紅外視頻摔倒判定實驗，以驗證本文策略的可行性。

圖6 Mosaic數據增強

4.1 紅外人體骨架檢測實驗

為了排除遮擋狀態對關鍵點檢測的干擾，需準確識別遮擋與非遮擋狀態，如圖7所示。

圖7(a)與圖7(d)分別是遮擋狀態的兩種標注方式示意圖，圖7(a)將未被遮擋的人體部分標注為遮擋，其預測結果如圖7(b)和圖7(c)所示，圖7(d)在標注遮擋類別的目標框時加入部分遮擋物，其預測結果如圖7(e)和圖7(f)所示。從圖7(b)中可以看到，全身被識別為站立姿態的同時，上身也被識別為遮擋，即出現了冗余檢測，而如圖7(e)和圖7(f)所示，在遮擋狀態標記框中加入部分遮擋物后，站立和遮擋得到了明顯的區分。經實驗，在標記遮擋狀態時，當選取的遮擋物在標記框縱向占比為0.2或橫向占比為0.3時，對遮擋和非遮擋狀態的區分效果較好。

本實驗將本文算法與原Alphapose算法進行對比，取500張圖片作為測試集，部分檢測結果如圖8所示。

本實驗采用DIoU（Distance-IoU）衡量算法的定位精度，DIoU反映了真實與預測之間的相關度，計算方法如公式(7)所示：

式(7)中：和gt分別表示預測框和真實框的中心點位置坐標；(,gt)是兩個中心點之間的歐氏距離；表示真實框和預測框的最小外接矩形的對角線距離；IoU表示真實框與預測框之間的交并比。DIoU值越接近于1，則預測位置越接近真實位置。

分別使用原Alphapose算法和本文算法計算DIoU值，其平均值DIoU_Average和平均處理時間如表2所示。

圖7 遮擋狀態標注與預測圖：(a) 標注時不含遮擋物；(b) 無遮擋物標注方式檢測無遮擋狀態；(c) 無遮擋物標注方式檢測遮擋狀態；(d) 標注時含部分遮擋物；(e) 含遮擋物標注方式檢測無遮擋狀態；(f) 含遮擋物標注方式檢測遮擋狀態

表2 實驗結果

由圖8(a)和圖8(b)可以看到，因為在標記遮擋姿態時加入了部分遮擋物，所以識別出的遮擋姿態目標框也向被遮擋方向進行了部分延伸，符合遮擋的特征，這也驗證了本文針對遮擋姿態修改標記方法的有效性。如圖8(a)～圖8(b)所示，原Alphapose算法與本文算法的檢測結果基本相近，但也出現少數偏差。原Alphapose算法對“躺下”姿態的定位不夠準確，導致后續的骨架檢測出現誤差，而本文算法得到的預測框更加逼近其真實目標框，得到的人體區域更加緊湊，檢出的人體骨架也較準確。結合表2中的計算結果可知，本文算法對人體區域的定位較準，速度更快。如圖8(c)～圖8(d)所示，本文算法也可檢測室外人體目標，但對于遠距離的人體可能產生漏檢，如圖8(d)所示，遠處路燈下的人體沒有被檢出。同時，在人群聚集和多人重疊場景下，容易發生漏檢現象。

圖8 實驗結果：(a) Alphapose檢測自建紅外數據集；(b) Ours檢測自建紅外數據集；(c) Ours檢測MOTIID紅外測試集；(d) Ours檢測FLIR_ADAS數據集

4.2 紅外視頻摔倒判定實驗

本實驗使用本文算法檢測實時紅外視頻流，從中截取12段熱紅外視頻，共計36個摔倒動作和51個類摔倒動作，其中類摔倒動作包括快速下蹲、俯身拾取和緩慢坐地。記摔倒動作被識別為摔倒的個數為TP，摔倒動作被識別為非摔倒的個數為FN，類摔倒動作被識別非摔倒的個數為TN，類摔倒動作被識別為摔倒的個數為FP。改變閾值Th，計算不同閾值下的準確率，計算方法如公式(8)所示：

從表3可以看出，當Th大于或等于0.04時，漏檢的摔倒個數逐漸增多，因為設定的閾值大于部分真實摔倒動作的相對位移速度，容易將真實的摔倒動作漏檢。而當Th小于或等于0.03時，真實的摔倒動作已全部被正確檢出，但也出現誤識別的情況，如將俯身拾取動作誤識別為摔倒，如圖9所示。

表3 不同Th下檢測結果

圖9(a)與圖9(b)分別是Th取0.03時，本算法對真實摔倒動作和俯身拾取動作的檢測結果，圖9(c)是Th取0.01時，本算法對俯身拾取動作的檢測結果。從圖9(c)可以看出，當Th取值偏小時，因為俯身拾取動作在下蹲過程中可能其速度大于設定的閾值，所以有可能將俯身拾取識別為摔倒。而當Th取0.03時，可有效過濾此類動作，并且能夠檢測出真實的摔倒動作。因為在本實驗環境下，閾值Th為0.03時，準確率最高，所以取0.03作為本實驗環境下Th的最佳值。因為本文策略以關鍵點瞬時位移速度大于閾值為前提，輔以后續姿態加以判定，而快速下蹲動作不滿足其后續姿態判定中對撐地、坐地或躺下的要求，所以實驗中沒有出現快速下蹲被誤識別為摔倒的情況。從實驗結果來看，本算法對快速下蹲、緩慢坐地、俯身拾取這樣的類摔倒動作具有一定的抗干擾性。

圖9 摔倒檢測結果：(a) Th=0.03時，真實摔倒動作檢測結果；(b) Th=0.03時，偽摔倒動作檢測結果；(c)Th=0.01時，偽摔倒動作檢測結果

本實驗的目的是對真實摔倒動作與類摔倒動作進行區分，可以根據當前Th得到的準確率變化情況更新Th值。如果本輪Th得到的準確率高于上一輪的準確率，則表明Th的變化方向是有效的，反之則表明上一輪Th值更接近最優值，轉而反方向尋值。在迭代過程中，當準確率變化趨勢發生改變時，通過改變步長逼近最佳閾值。閾值Th的更新計算公式如式(9)所示：

式中：Th表示第輪迭代中的閾值；*(－2)－表示閾值的變化步長。本實驗中取值0.04，的初始值設為1，記閾值為Th時的檢測準確率為Acc。

更新過程步驟如下：

1）設置初始閾值Th0＝0.05，此時＝0，按式(8)計算對應的檢測準確率Acc0；

2）設＝1，＝0.04，按公式(9)計算Th+1，并計算對應的Acc+1；

3）若Acc+1＞Acc，則＝＋1，再按公式(9)計算下一代閾值Th+1，并計算Acc+1；否則，＝＋1，＝＋1，再按公式(9)計算Acc+1；

4）重復執行步驟3）。

5 總結

針對現有人體摔倒檢測方法對類摔倒動作容易誤檢的問題，本文提出基于改進Alphapose的紅外圖像摔倒檢測算法，使用改進的Alphapose算法檢測紅外圖像中的人體關鍵點和姿態類別，結合人體關鍵點信息和姿態類別進行摔倒判定。本文在原算法的基礎上，使用YOLO v5s作為Alphapose的人體檢測器和姿態分類器，在提取人體目標框的同時直接完成對人體姿態的分類，在摔倒與類摔倒場景中，對人體摔倒檢測的準確率達到98%。本算法也存在著不足，如本算法利用人體關鍵點的位置信息做關鍵點分析，適用于無遮擋狀態下的人體摔倒檢測。閾值的選取與算法在不同設備上的運行速度有關，對閾值的自適應取值是后續研究的重點。

[1] 禹明娟. 基于視頻的室內老人摔倒檢測研究[D]. 杭州: 杭州電子科技大學, 2016.

YU M J. Research of Indoor Fall Detection for Elderly Based on Video[D]. Hangzhou: Hangzhou Dianzi University, 2016.

[2] 陳永彬, 何漢武, 王國楨, 等. 基于機器視覺的老年人摔倒檢測系統[J]. 自動化與信息工程, 2019, 40(5): 37-41.

CHEN Y B, HE H W, WANG G Z, et al. Fall detection system for the elderly based on machine vision[J]., 2019, 40(5): 37-41.

[3] 楊碧瑤. 基于計算機視覺的獨居老人摔倒檢測方法研究[D] . 西安: 陜西科技大學, 2020.

YANG B Y. Research on Fall Detection Method of Elderly Living Alone Based on Computer Vision[D]. Xi’an: Shaanxi University of Science & Technology, 2020.

[4] 馬照一. 用于老年人居家養老的智能視頻終端的設計與實現[D]. 沈陽: 遼寧大學, 2017.

MA Z Y. The Design and Implementation of Intelligent Video Terminal for The Aged Home Care[D]. Shenyang: Liaoning University, 2017.

[5] 徐世文. 基于紅外圖像特征的人體摔倒檢測方法[D]. 綿陽: 西南科技大學, 2020.

XU S W. Detection Method of Human Fall Based on Infrared Image Features[D]. Mianyang: Southwest University of Science and Technology, 2020.

[6] 徐傳鐸. 夜間模式下基于人體姿態的安全監控研究[D]. 上海: 東華大學, 2017.

XU C D. Research on Safety Monitoring Based on Human Posture for Night Vision[D]. Shanghai: Donghua University, 2017.

[7] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]//, 2017: 6517-6525.

[8] ZHAO L, LI S. Object detection algorithm based on improved YOLO v3[J]., 2020, 9(3): 537.

[9] 李昭慧, 張瑋良. 基于改進YOLO v4算法的疲勞駕駛檢測[J]. 電子測量技術, 2021, 44(13): 73-78.

LI Z H, ZHANG W L. Fatigue driving detection based on improved YOLOv4 algorithm[J]., 2021, 44(13): 73-78.

[10] Girshick R, Donahue J, Darrell T, et al. Region-based convolutional networks for accurate object detection and segmentation[J]., 2015, 38(1): 142-158

[11] Girshick R. Fast R-CNN[C]//, 2015: 1440-1448.

[12] REN S, HE K, Girshick R, et al. Faster R-CNN: Towards real-time object detection with region proposal networks[C]//, 2015: 91-99.

[13] WANG C Y, Mark Liao H Y, WU Y H, et al. CSPNet: a new backbone that can enhance learning capability of CNN[C]//, 2020: 390-391.

[14] LIU S, QI L, QIN H, et al. Path aggregation network for instance segmentation[C]//, 2018: 8759-8768.

[15] FANG H S, XIE S, TAI Y W, et al. RMPE: regional multi-person pose estimation[C]//2017, 2017: 4321-4331.

Infrared Image Human Fall Detection Algorithm Based on Improved Alphapose

ZHANG Peng，SHEN Yuzhen，LI Peihua，ZHANG Kaixiang

(,241002,)

Human fall detection in infrared images is not affected by ambient light and has important research and application value in intelligent security. Existing fall detection methods do not fully consider the position change law of key points on the human body, which can easily cause false detections of similar fall movements. To solve this problem, we propose an infrared image fall detection algorithm based on an improved alpha pose.The algorithm uses the YOLO v5s object detection network to directly classify human poses while extracting the human body target frame and inputting the pose estimation network. It then evaluates it in combination with the position information and posture characteristics of the key points of the human skeleton. Experiments showed that the algorithm exhibited good performance in terms of accuracy and real-time performance.

infrared images, fall detection, key points, object detection

TP391

A

1001-8891(2023)12-1314-08

2021-09-23；

2021-10-13.

張鵬（1994-），碩士研究生，主要研究領域為模式識別、圖像處理。E-mail: zhangpeng2735@163.com。