一種基于低分辨紅外傳感器的動作識別方法

張昱彤，翟旭平，汪 靜

一種基于低分辨紅外傳感器的動作識別方法

張昱彤，翟旭平，汪 靜

（上海大學 特種光纖與光接入網重點實驗室，上海 200444）

如今，世界各國人口老齡化問題日益嚴重，為了避免獨居老人發生意外，老人日常動作監測和識別算法成為了研究熱點。本文設計了一種基于低分辨紅外傳感器的動作識別方法，通過紅外傳感器采集探測區的溫度分布數據，對溫度分布數據進行處理，從時間、溫度、形變和軌跡4個方面提取多個特征，最后通過K近鄰算法對“行走”、“彎腰”、“坐下”、“站起”和“摔倒”5種動作進行分類。實驗結果表明平均識別準確率可達到97%，其中摔倒動作的識別準確率為100%。

動作識別；特征提取；低分辨率紅外傳感器；K近鄰算法

0 引言

根據國際劃分標準，一個國家或地區65歲及以上人口占比達到7%，就意味著進入了老齡化社會[1]。研究表明，獨居尤其高齡老人成為意外傷害的高危人群，跌倒是導致老年人殘疾，甚至死亡的主要原因[2]。因此研究室內安全監測算法顯得十分重要。

目前，國內外已有很多針對室內跌倒檢測算法的研究，使用的設備可以分為攝像裝置和傳感裝置。基于攝像裝置的檢測算法通過對采集到的視頻幀逐幀分析，完成動作識別[3]。但是攝像裝置不僅會暴露使用者的隱私，還極易受到光照的影響，在黑暗環境中性能會大大降低。傳感裝置可分為需穿戴傳感器和無需穿戴傳感器。需穿戴傳感器檢測算法通過穿戴加速度傳感器[4]等設備采集源數據，研究摔倒時突然的加速檢測摔倒，但是需要老人時刻穿戴著傳感器裝置，十分不便。無需穿戴的傳感器主要有壓力傳感器、聲學傳感器、二值傳感器和紅外傳感器。基于壓力傳感器[5]和聲學傳感器[6]的檢測算法是將傳感器放置于地面，提取不同動作聲音或者對地板產生的壓力信號檢測摔倒，但在日常生活中，其他外物時常產生聲音干擾，對地板也可能產生壓力從而造成干擾，檢測準確率較低。基于二值傳感器的檢測算法[7]通過多個二值傳感器同時采集數據，研究數據波形的時域相關性，檢測跌倒，但是需要先采集固定地點和時間段的日常動作數據作為參照，否則需要再次采取源數據，魯棒性極低。

為了解決上述問題，有人提出使用被動紅外傳感器。被動紅外傳感器通過接收外界發出的紅外輻射進行工作，采集到的數據為探測區域的溫度數據。此類傳感器不受光強弱變化的影響，無需人為穿戴，同時保護了用戶的隱私。日本的Shota Mashiyama團隊[8]采用分辨率為8×8的Grid-eye紅外傳感，對日常動作和靜止等5個動作進行分類，摔倒、行走和靜止這3種能明顯區分的動作識別率很高，但是行走和站立這兩種相似度較高的動作識別率相對較低。Akira Hayashida團隊[9]則考慮將紅外傳感器裝置應用在不同的家庭場景中檢測摔倒。該團隊對比了不同室溫、家庭環境和光照條件下的摔倒檢測正確率，驗證魯棒性。但該算法需設定較多的閾值，閾值的選取很大程度上決定了算法的性能表現，同時大量的閾值選取算法也增加了算法的計算量。楊任兵等人[10]將8×8的紅外傳感器置于天花板設計分類算法，將溫度和特征進行了結合，提高了摔倒的檢測率，但是所提取的特征存在在不同動作的反映上有著相似性，所以一些坐下的動作會被錯判為摔倒，虛警率較大，且8×8傳感器的廣角較小，探測區無法完全覆蓋面積較大的家庭場景。王召軍等人[11]采用HTPA 32×32紅外傳感器，提取5種特征對3種動作進行分類，且根據傳感器的安裝角度對特征數據進行校準，最終識別率較高，但是實際生活中無法精準得到夾角的準確值，對結果會有一定的影響。

本文采用HEIMANN型號為HTPA80x64dR 1L5.0/1.0的紅外陣列傳感器提出一種識別彎腰、坐下、站起、行走和摔倒5種日常動作的方法。該方法不僅對活動人體進行了檢測，也進行了前景提取，通過背景減除法提取前景，根據奈曼-皮爾遜準則確定初始最佳判決閾值，完成了人體區域提取。之后從時間、溫度、形變和軌跡4個方面提取6個特征，最后對比了不同分類器的識別結果，也將本文方法與其他方法的結果進行了對比。

1 動作識別方法設計

本文人體動作識別方法流程如圖1所示，分為活動人體檢測、前景提取、特征提取和分類4個部分。計算每幀數據的最大溫度方差，若該方差大于閾值，則在探測區存在人體活動。在接收到溫度分布數據之后，為了方便進行特征提取，先通過前景提取算法提取人體輪廓。活動人體檢測和前景提取完成后，提取特征，利用K近鄰（K-Nearest Neighbor，KNN）分類器，與數據庫的訓練集數據進行對比，判斷接收到的數據的動作類別。

圖1 動作識別方法流程圖

1.1 活動人體檢測

紅外探測區無人活動時，每個像素點的溫度值在時域上波動較小，而當人在探測區中活動時，時域溫度波動較大。根據這一特點，可以通過提取每幀的最大溫度方差來判斷探測區是否有人體活動，以便進行后續操作。

由于制作工藝和測試環境等原因，噪聲嚴重影響到溫度數據的準確性。A. A. Trfimova等人在文獻[8]的基礎上采用卡爾曼濾波[12]的方式對數據先進行預處理，但是卡爾曼濾波需要大量環境數據，計算量較大，無法實現實時的去噪。經過分析，測試數據的噪聲近似服從高斯分布，因此采用大小為3×3的高斯濾波模板對測試數據預處理。

a為第幀的第(,)個像素點的溫度值。第幀每個像素點的方差計算公式為：

經過公式(1)，可以得到每一幀的溫度方差分布矩陣：

根據之前的分析，當有人體在探測區活動時，探測區的溫度會發生較大波動，于是通過公式(4)提取每幀的最大溫度方差：

若vmax大于閾值th則說明探測區有人體活動。閾值th的選取決定著活動人體檢測的準確率和特征提取的正確性。由于采集數據的時間很長，環境溫度和器件自身的溫度都會有微小改變，所以本文確定閾值th的方法為在探測區無人的環境下，實驗前、實驗中和實驗后3個時間段中，運行實驗裝置直至最大幀數，各重復3次，共9組數據，分別計算9組數據的最大溫度方差，選取最大值作為閾值th。為了研究環境溫度和傳感器安裝空間對閾值的影響，分別在校內實驗室和家里客廳的不同環境溫度下采集數據，進行對比實驗，結果如表1所示。

表1 不同環境溫度、安裝空間下的閾值對比

由表1可以看出，相比較而言，傳感器安裝空間對閾值變化影響很小，環境溫度變化對它的影響更大一些，所以根據實驗時的環境溫度，本文將最終閾值設為1.7。

1.2 前景提取

在提取出的前景基礎上進一步進行特征提取，可以極大提高識別準確率。常見的前景提取算法有背景減除法[13]，幀間差分法[14]，單高斯模型法[15]和混合高斯模型法等，這些算法往往采用經驗值[16]設置閾值提取前景，本文則采用奈曼-皮爾遜準則設置閾值。

像素點為背景點的狀態設為0，為前景點的狀態設為1。奈曼-皮爾遜準則無需已知信源先驗概率與代價因子，該準則是在(1/0)＝的約束條件下，檢測概率達到最大。

利用拉格朗日乘子構建目標函數：

＝(0/1)＋[(1/0)－] (5)

根據要求，需求目標函數的最小值，將公式(5)轉化為積分運算，且由于：

式中：0和1分別為判決區域，公式(5)可寫為以下形式：

由公式(7)可知，若要使達到最小，被積函數部分應該取負值，可得以下關系：

其中，判決門限可由約束條件得到：

通過每幀數據得到的判決門限即為每幀的最佳判決閾值xth。本文采用虛警率為0.01約束下獲得每幀的最佳判決閾值xth，前景提取公式如下：

若第k幀的第(i, j)像素點的溫度值xk(i, j)大于閾值xkth，則溫度值不變，否則置為0。該算法結果如圖2(a)所示，該方法極干凈地濾除了背景點，只剩下少數背景游離點，經過形態學處理后，如圖2(b)所示，前景圖像只剩下了完整的人體輪廓。

1.3 特征提取

本文從時間、溫度、形變和軌跡4個方向考慮，提取每個數據集的運動時間act、最大溫度方差max、運動前后寬高比比值AR、運動前后重心到腳距離比值gravity、運動速度的最大值velmax和運動前后垂直角度差值diff這6種特征。具體方法如下：

1）運動幀數act：每幀最大溫度分布方差vmax大于等于閾值th時，則表明運動開始，該幀計為start，否則視為運動結束，計為end。運動幀數的定義如下：

act＝end－start＋1 (11)

行走動作耗費的時間最長，摔倒是一種突發情況，運動幀數最短，如圖3所示。

2）每個數據集的最大溫度方差max：該特征指的是在幀內，每幀最大溫度分布方差vmax中的最大值，即：

max＝max(1max,2max, …,vmax),＞act(12)

不同動作發生時探測區溫度變化的劇烈程度也不同。摔倒動作瞬時發生，在溫度數據上則表現在其max相比于其他動作較高，不同動作的vmax和max對比如圖3所示。

圖3 各動作的最大溫度方差和運動持續幀

3）運動前后寬高比比值AR：該特征為人體外接矩形寬高比在start和end時的比率，表現了人體在運動前后的形變特征，其公式如下：

式中：rend和rstart分別為運動結束幀和運動開始幀的寬高比。人體外接矩形如圖4所示。

圖中的人體外接矩形左上點al＝(il,jl)，人體外接矩形右下點ar＝(ir,jr)，l和r分別代表著第幀外接矩形的左邊界和右邊界，于是人體外接矩形的寬高比可表示為：

摔倒發生后人體的外接矩陣寬高比明顯要遠大于運動前的寬高比，因此摔倒動作的AR是遠大于1。彎腰動作后人體的寬度增加，高度降低，所以其AR次之。

4）運動前后重心到腳距離比值gravity：表示運動前后人體重心到腳的距離的比率，與AR一樣表現了人體在運動前后的形變特征。人體區域的重心表示為x＝(i,j)，其中：

式中：、、、和分別為人體外接矩形的上下左右邊界的坐標值，Q(,)的定義如下：

那么重心到人腳的距離h為：

h＝i－ib(18)

式中：ib為人體外接矩陣下邊界的坐標值，運動前后重心到腳距離比值gravity的定義為：

gravity＝hend/hstart(19)

摔倒動作的hend遠小于hstart，所以摔倒動作的gravity遠小于1，而行走運動前后人外接矩形并沒有發生太大的變化，所以行走動作的gravity是在1上下波動。

5）運動速度的最大值velmax：將重心點x＝(i, j)作為追蹤點，時間窗口等于傳感器本身的幀率，計算重心點幀的歐氏距離，從而得到運動的速度，其公式如下：

式中：i和j分別為第幀重心點的坐標。通過公式(20)這樣就可以得到動作的速度波動情況，將最大值作為特征：

摔倒動作是瞬時發生的，相比于其他動作有著極高的velmax，而行走動作相比于其他動作較為穩定，且速度稍高，所以行走動作的velmax僅次于摔倒動作。

6）運動前后垂直角度差值diff：該特征從不同動作的軌跡變化出發，將人體區域的重心點x＝(i, j)作為追蹤點，由于傳感器放置在墻壁之上，若將探測場的畫面作為平面，在三維空間中，傳感器則位于畫面的下邊界上。若人體在下邊界重心點所在的垂直線上進行站立坐下動作，則垂直角度的變化均為0，無法判別動作，所以將整張圖像左下角點，即坐標為(63,0)的點作為頂點，與重心點形成角度，觀察運動前后垂直角度的變化，如圖5所示。

圖5 垂直角度示意圖

由圖5可得垂直角度的定義如下：

則運動前后的垂直角度差值定義為：

在摔倒動作發生前后，人的重心點會更加貼近于畫面下邊界，所以垂直角度會有極大的降低，摔倒動作的diff較大且為負。

1.4 分類算法

本文將KNN算法、支持向量機（Support Vector Machine, SVM）算法、隨機森林（Random Forest, RF）算法、決策樹（Decision Tree, DT）算法和神經網絡（Neural Network, NN）算法的結果進行對比。KNN算法是給定測試樣本，基于距離度量找出特征空間中距離最靠近該樣本的個訓練樣本，選擇這個樣本中出現最多的類別作為預測結果。距離度量和值的選擇均會影響到分類的準確性，距離度量會影響到“鄰居”的選擇，而值如果過小容易產生過擬合的現象，如果過大則會大大增加算法的計算時間。因此本文采用交叉驗證法[17]來確定值和距離度量。

2 實驗與性能分析

2.1 實驗環境及數據采集

本實驗使用德國HEIMANN型號為HTPA80x64 dR1L5.0的熱電堆陣列傳感器，實驗環境選擇室內普通實驗室，背景較為單一，室溫為26℃，將傳感器置于墻壁，距離地面2.6m。測試人員共10名（7男3女），被測人員在探測區依次完成彎腰、站起、坐下、摔倒和行走5種動作，每種動作重復30次，最終每個動作獲得300組數據，數據集一共1500組，按照動作將數據集等比例劃分為訓練集和測試集進行實驗。

2.2 分類器參數選擇

本文采用交叉驗證的方法確定KNN算法最優的值和距離度量函數。首先將數據集參考動作類別按照一定比例劃分為訓練集和測試集。距離度量也在歐氏距離和曼哈頓距離兩者中進行選擇。值以3為起始值，2為步長，分別在距離度量為歐氏距離和曼哈頓距離的條件下，依次選取不同的值進行分類計算相對應的準確率。交叉驗證結果如表2、表3所示，選擇曼哈頓距離作為距離度量，取3進行實驗。

表2 歐氏距離交叉驗證結果

表3 曼哈頓距離交叉驗證結果

同樣采用交叉驗證對余下分類器的實驗參數進行設定。經過驗證，SVM分類器懲罰參數最終選擇為2，徑向基函數的自帶參數gamma，實驗對比后取0.08，訓練集780組，測試集720組。DT分類器采用信息增益作為分裂節點的評價指標，最優分裂作為拆分策略，剪枝時樹的深度設為4，葉節點處所需最少樣本數設為1，拆分最小樣本數為3，樣本權重相同，訓練集900組，測試集600組。RF分類器中，最優結果下隨機森林建立10棵決策樹，深度為10，余下參數為默認參數，訓練集975組，測試集525組。為了進行下一階段研究，本文選擇簡單的神經網絡結構構建分類器與以上幾種分類器進行結果對比。NN分類器的結構為輸入層，中間層以及輸出層，輸入為提取的特征，輸出為動作類別，中間層為8層全連接層，使用sigmoid函數作為激活函數，網絡訓練總次數設定為500輪，依次改變學習率，最終最優學習率為0.01，訓練集1125組，測試集375組。

2.3 實驗結果與對比

將KNN算法、SVM算法、RF算法、DT算法和NN算法的識別準確率進行對比，結果如表4所示。

表4 5種分類算法結果對比

由表4可得KNN算法平均識別準確率高于其他算法，摔倒動作的識別準確率達到了100%，其他動作的識別準確率也在97%以上，最終選擇KNN算法。KNN算法識別準確率的混淆矩陣圖如圖6所示。

由圖6可以發現，坐下和彎腰這兩種有著下降趨勢的動作易被誤判，與其他動作相比，坐下僅在運動前后寬高比比值這一特征上與彎腰表現差異較大，所以坐下動作有8%的測試集數據錯判為彎腰，彎腰動作有3%的測試集數據錯判為坐下，誤判率較高。為了進一步驗證本文方法性能，將本文方法與文獻[10]和文獻[11]的方法的結果進行了對比，結果如表5所示。

由表5可以看出，本文方法準確率有了很大的提高，并且很好地區分了站起和坐下動作，這說明本文提取到的特征確實與人體動作相關聯，能以較高的準確率區分日常的生活動作。

圖6 準確率混淆矩陣圖

表5 3種方法結果對比

3 結論

本文提出了一種基于低分辨率紅外傳感器的人體動作識別方法。本文方法對活動人體進行了檢測，也對前景提取進行了研究，根據得到的數據，采用背景減除法提取前景，基于奈曼-皮爾遜準則確定初始最佳判決閾值，使背景錯判為前景的出錯的概率達到最小。在以上工作基礎上，從時間、溫度、形變和軌跡4個方面提取6個相關特征，比較了不同分類器的結果，最終選用KNN分類器對彎腰、站起、坐下、摔倒和行走這5個日常動作進行分類，平均準確率達到97%。本文方法對摔倒動作有著100%的識別準確率，相比于其他方法，站起和坐下這兩種易錯分的動作的識別準確率也有提升，達到了初期構想的要求。未來，可采用多個紅外傳感器搭建系統，以提高細小差別動作的識別率。本文提出的方法有著較繁瑣的計算機視覺方面的數據處理，避免不了閾值的設計，且計算量較大，今后可結合深度學習，搭建神經網絡以進行更深入的研究。

[1] 陳泰昌, 尤帥. 新時代我國人口老齡化的發展態勢和戰略研究[J]. 老齡科學研究, 2019, 7(4): 11-20.

CHEN Taichang, YOU Shuai. Research on the development trends and strategies of China’s population ageing in the new Era[J]., 2019, 7(4): 11-20.

[2] 張艷梅, 馬曉霞, 赫繼梅, 等. 失能老人跌倒的影響因素及長期照護服務需求[J]. 中國老年學雜志, 2019, 39(17): 4355-4357.

ZHANG Yanmei, MA Xiaoxia, HE Jimei, et al. Influencing factors of falls and demand for long-term care services in the disabled elderly[J]., 2019, 39(17): 4355-4357.

[3] 鄭瀟, 彭曉東, 王嘉璇. 基于姿態時空特征的人體行為識別方法[J].計算機輔助設計與圖形學學報, 2018, 30(9): 1615-1624.

ZHENG Xiao, PENG Xiaodong, WANG Jiaxuan. Human action recognition based on pose pose spatio-temporal features[J], 2018, 30(9): 1615-1624.

[4] 王玉坤, 高煒欣, 王征, 等. 基于加速度傳感器的人體姿態實時識別[J]. 計算機工程與設計, 2016, 37(11): 3092-3096.

WANG Yukun, GAO Weixin, WANG Zheng, et al. Real-time human activity pattern recognition based on acceleration[J]., 2016, 37(11): 3092-3096.

[5] 杜英魁, 姚俊豪, 劉鑫, 等. 基于電阻式薄膜壓力傳感器組的人體坐姿感知終端[J]. 傳感器與微系統, 2020, 39(1): 78-81.

DU Yingkui, YAO Junhao, LIU Xin, et al. Human body sitting posture sensing terminal based on resistive thin film pressure sensor groups[J]., 2020, 39(1): 78-81.

[6] 李仲華, 臧春華, 楊剛. 基于噪聲嵌入的跌倒檢測系統的設計[J]. 微機處理, 2017(2): 74-76.

LI Zhonghua, ZANG Chunhua, YANG Gang. Design of fall detection system based on embedded noise[J]., 2017(2): 74-76.

[7] Kobiyama Yuta,ZHAO Qiangfu,Omomo Kazuk, et al. Analyzing correlation of resident activities based on infrared sensors[C]//, 2015: 1-6.

[8] Mashiyama S, HONG J, Ohtsuki T. Activity Recognition Using Low Resolution Infrared Array Sensor[C]//, 2015: 495-500.

[9] Akira Hayashida, Vasily Moshnyaga, Koji Hashimoto, The Use of Thermal IR Array Sensor for Indoor Fall Detection[C]//,,(SMC), 2017: 594-599.

[10] 楊任兵, 程文播, 錢慶, 等. 紅外圖像中基于多特征提取的跌倒檢測算法研究[J]. 紅外技術,2017, 39(12): 1131-1138.

YANG Renbin, CHEN Wenbo, QIAN Qing, et al. Fall detection algorithm based on multi feature extraction in infrared image[J]., 2017, 39(12): 1131-1138.

[11] 王召軍, 許志猛, 陳良琴. 基于紅外陣列傳感器的人體行為識別系統研究[J]. 紅外技術, 2020, 42(3): 231-237.

WANG Zhaojun, XU Zhimeng, CHEN Liangqin. Human behavior recognition system based on infrared array sensors[J]., 2020, 42(3): 231-237.

[12] Tro?mova A A, Masciadri A, Veronese F, et al. Indoor Human Detection Based on Thermal Array Sensor Data and Adaptive Background Estimation[J]., 2017, 5(4): 16-28.

[13] 李亞, 王穎. 基于一維最大熵的視頻圖像運動背景減除[J]. 計算機與現代化, 2018(3): 44-47, 53.

LI Ya, WANG Ying. Moving background subtraction of video image based on 1-D Maximum Entropy[J]., 2018(3): 44-47, 53.

[14] 薛麗霞, 羅艷麗, 王佐成. 基于幀間差分的自適應運動目標檢測方法[J]. 計算機應用研究, 2011, 28(4): 1551-1552.

XUE Lixia, LUO Yanli, WANG Zuocheng, et al. Detection algorithm of adaptive moving objects based on frame difference method[J]., 2011, 28(4): 1551-1552.

[15] 黃大衛, 胡文翔, 吳小培, 等. 改進單高斯模型的視頻前景提取與破碎目標合并算法[J]. 信號處理, 2015(3): 299-307.

HUANG Dawei, HU Wenxiang, WU Xiaopei, et al. The algorithm of video foreground extraction via improved single gauss model and merge of broken targets[J]., 2015(3): 299-307.

[16] WEI Hanchen, Hsi PinMa. A Fall Detection System Based on Infrared Array Sensors with Tracking Capability for the Elderly at Home[C]//(Health Com), 2015: 428-434.

[17] 任家東, 劉新倩, 王倩, 等. 基于KNN離群點檢測和隨機森林的多層入侵檢測方法[J].計算機研究與發展, 2019, 56(3): 566-575.

REN Jiadong, LIU Xinqian, WANG Qian, et al. An multi-Level intrusion detection method based on KNN outlier detection and random forests[J]., 2019, 56(3): 566-575.

Activity Recognition Approach Using a Low-Resolution Infrared Sensor

ZHANG Yutong，ZHAI Xuping，WANG Jing

(Key Laboratory of Specialty Fiber Optics and Optical Access Networks, Shanghai University, Shanghai 200444, China)

The worldwideproblem of population aging is becoming increasingly critical. To avoid accidents involving the elderly living alone, the study of the daily activities of the elderly using recognition and monitoring algorithms has become a research hotspot. This paper proposes an action recognition approach using a low-resolution infrared sensor. The proposed approach uses an infrared sensor to collect temperature distribution data in the detection area, and then processes the temperature distribution data, extracting multiple features in the four dimensions of time, temperature, deformation, and trajectory. Finally, the K-nearest neighbors algorithm is used to identify the five poses of “walking,” “bending,” “sitting,” “standing,” and “falling.” Experimental results demonstrate that the average accuracy can reach 97% and that the accuracy for falling is 100%.

activity recognition, feature extraction, low resolution infrared sensor, KNN algorithm

TP319.4

A

1001-8891(2022)01-0047-07

2020-11-24；

2021-02-01.

張昱彤（1996-），男，江蘇鹽城人，碩士研究生，主要從事基于紅外圖像的人體動作識別算法研究工作，E-mail：zyt164819285@163.com。