基于雙目標(biāo)定的獨(dú)居老人摔倒檢測(cè)算法

程 添，楊思思，馮 蓉，周 泓

(浙江大學(xué) 生物醫(yī)學(xué)工程與儀器學(xué)院，浙江 杭州 310027)

計(jì)算與測(cè)試

基于雙目標(biāo)定的獨(dú)居老人摔倒檢測(cè)算法

程 添，楊思思，馮 蓉，周 泓

(浙江大學(xué) 生物醫(yī)學(xué)工程與儀器學(xué)院，浙江 杭州 310027)

獨(dú)居老人摔倒已成為一個(gè)備受關(guān)注的問題。為快速有效獲取摔倒信息從而使老人得到及時(shí)救助，提出一種基于雙目標(biāo)定的獨(dú)居老人摔倒檢測(cè)算法。該算法通過色彩不變性分割前景目標(biāo)(老人)，采用雙目視覺標(biāo)定計(jì)算人體在三維坐標(biāo)中高度作為特征信息，能夠有效區(qū)分易混淆動(dòng)作，防止誤判，提高檢測(cè)準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明：該算法易于實(shí)現(xiàn)，具有較好的魯棒性和實(shí)時(shí)性。

雙目標(biāo)定；色彩不變性；摔倒檢測(cè)

0 引 言

隨著中國步入老齡化社會(huì)，人口老齡化引起了廣泛關(guān)注[1],一個(gè)不容忽視的問題是如何降低意外摔倒給老人帶來的健康威脅。因此，恰當(dāng)?shù)貙?duì)老人的日常生活進(jìn)行看護(hù)，研發(fā)摔倒報(bào)警系統(tǒng)具有重要意義。

國內(nèi)外現(xiàn)有的許多摔倒檢測(cè)系統(tǒng)都是通過佩戴或攜帶式的傳感器實(shí)現(xiàn)的：汪穎翔等人[2]研發(fā)了一種基于壓力傳感器的系統(tǒng)，通過檢測(cè)摔倒時(shí)的壓力來判別摔倒事件發(fā)生；王榮等人[3]則提出一種基于三軸加速度傳感器的人體跌倒檢測(cè)系統(tǒng),利用姿態(tài)角作為跌倒判斷標(biāo)準(zhǔn)；Porteus J等人[4]提出一種自動(dòng)報(bào)警檢測(cè)儀，當(dāng)老人摔倒時(shí)，需手動(dòng)按下這個(gè)按鈕來實(shí)現(xiàn)報(bào)警功能。佩戴裝置的高成本和不方便限制了這些系統(tǒng)的普及。相比之下，視覺信號(hào)具有更寬的探測(cè)范圍、更完整的目標(biāo)信息、更高的性價(jià)比，易于實(shí)現(xiàn)非接觸性，而且更符合人的認(rèn)知習(xí)慣，特別在行人檢測(cè)、行為識(shí)別等方面具有無法替代的優(yōu)勢(shì)。

在此背景下，本文提出一種基于雙目標(biāo)定的獨(dú)居老人摔倒檢測(cè)算法，創(chuàng)新性地應(yīng)用了Kubelka-Munk[5]理論來實(shí)現(xiàn)前景的分割；通過雙目標(biāo)定計(jì)算三維坐標(biāo)中人體的高度作為特征信息，利用隱馬爾可夫模型(HMM)分類器判別摔倒事件的發(fā)生。該算法易于實(shí)現(xiàn)，能夠達(dá)到較高的檢測(cè)率。

1 算法設(shè)計(jì)與視頻獲取

基于雙目標(biāo)定的獨(dú)居老人摔倒檢測(cè)算法流程如圖1，包括以下幾部分：基于Kubelka-Munk理論的目標(biāo)提取、雙目攝像機(jī)標(biāo)定、高度特征參數(shù)的獲取以及HMM對(duì)特征信息進(jìn)行檢測(cè)判斷是否發(fā)生摔倒事件[6]。

視頻的獲取采用普通的雙路工業(yè)攝像機(jī)，先后拍攝20組標(biāo)準(zhǔn)棋盤格圖像和人體動(dòng)作視頻，分別用來實(shí)現(xiàn)雙目標(biāo)定與算法實(shí)現(xiàn)，圖像分辨率為352×288。

2 算法的實(shí)現(xiàn)

2.1 目標(biāo)提取

要判斷老人是否發(fā)生了摔倒事件，首先需要將老人從環(huán)境背景中分離出來。但由于環(huán)境中光照的突然變化，人體衣服顏色與背景的顏色相近等情況會(huì)給目標(biāo)提取帶來干擾，導(dǎo)致目標(biāo)提取不完整，存在孔洞等現(xiàn)象[7]。針對(duì)上述問題，本文提出基于Kubelka-Munk色彩不變參數(shù)原理的前景提取方法：通過對(duì)圖像中每個(gè)像素按照H,Wx,Wy特征進(jìn)行高斯建模，利用背景減除法實(shí)現(xiàn)目標(biāo)提取。具體實(shí)現(xiàn)如下：

圖1 摔倒檢測(cè)算法流程圖Fig 1 Flow chart of algorithm for falling down detection

1)根據(jù)公式(1)，實(shí)現(xiàn)RGB色彩空間到高斯色彩空間的轉(zhuǎn)換

(1)

其中，E,Eλ,Eλλ分別為對(duì)應(yīng)RGB色彩空間的R，G，B信息。

2)計(jì)算高斯色彩空間中的特征平面H,Wx,Wy

(2)

其中,E,Eλ,Eλλ,x,y,分別為高斯色彩模型中某特定波長的入射光在σλ，σx,σy尺度空間下的高斯色彩模型，具體計(jì)算方法參見文獻(xiàn)[8,9]。

3)選取連續(xù)20幀背景圖像在H,Wx,Wy3個(gè)平面特征內(nèi)對(duì)每個(gè)像素進(jìn)行單高斯分布建模，得到其均值和方差參數(shù)信息，然后通過減除法公式(3)判斷該像素點(diǎn)是前景還是背景

HΔ(i,j)=|h(i,j)-μH(i,j)|-t·σH(i,j),

WxΔ(i,j)=|wx(i,j)-μWx(i,j)|-t·σWx(i,j),

WyΔ(i,j)=|wy(i,j)-μWy(i,j)|-t·σWy(i,j),

(3)

最后，按式(4)融合3個(gè)特征平面值的信息，得到最后的提取結(jié)果。整個(gè)前景分割實(shí)現(xiàn)過程如圖2所示，其中,圖2(b)～(d)別為H,Ws,Wy3個(gè)平面分割結(jié)果，圖2(e)為融合后的圖像

Δ(i,j)=CH(i,j)∪CWx(i,j)∪CWy(i,j),

(4)

圖2 前景提取的過程Fig 2 Process of object extraction

2.2 高度參數(shù)標(biāo)定

摔倒定義為人體突然向下運(yùn)動(dòng)并且長時(shí)間無法復(fù)原[6]。據(jù)此，本文采用人體高度信息作為區(qū)分摔倒與否的特征參數(shù)。由于攝像機(jī)一般都安裝在較高的地方以一定角度拍攝，會(huì)使得在圖像的二維空間上系鞋帶和面向攝像機(jī)摔倒的動(dòng)作高度是一致的，如圖3中劃線部分標(biāo)記。為解決該問題，本文通過雙目攝像機(jī)標(biāo)定技術(shù)來計(jì)算世界坐標(biāo)系下的高度。

圖3 系鞋帶和面向攝像機(jī)摔倒Fig 3 Pictures of tying shoes and falling down facing to the camera

為獲得人體高度，需對(duì)圖4所示的雙目成像系統(tǒng)進(jìn)行標(biāo)定。其中，O1和O2代表左右2個(gè)攝像機(jī)的坐標(biāo)系原點(diǎn)，X1Y1Z1和X2Y2Z2分別為左右2個(gè)攝像機(jī)的像平面。

圖4 雙目成像原理圖Fig 4 Theory diagram of binocular imaging

由成像原理[9]，可以得到

(5)

式中Ml和Mr分別為左右矩陣的投影矩陣，u和v為圖像坐標(biāo)系，x,y和z為世界坐標(biāo)系。下標(biāo)l和r分別為左相機(jī)和右相機(jī)。用x,y和z替換ul,vl,ur和vr，表達(dá)式為

(6)

公式(6)進(jìn)一步簡化成公式(7)

AP=b.

( 7)

其中

P=[xyz]T,

由式(7)兩邊均左乘AT，可以求得

P=(ATA)-1ATb.

(8)

左右相機(jī)的內(nèi)外參數(shù)由Camera Calibration Toolbox for Matlab得到，然后將分割結(jié)果的最高點(diǎn)標(biāo)記為(ult,vlt)和(urt,vrt)，最低點(diǎn)標(biāo)記為(ulb,vlb)和(urb,vrb)，根據(jù)公式(8)可分別求得最高點(diǎn)和最低點(diǎn)在世界坐標(biāo)系中的高度zt和zb從而獲得人體在三維坐標(biāo)中的高度信息。如圖5，矩形是人體的外接矩形，中間的劃線連接的是該外接矩形最高和最低點(diǎn)的連線。

圖5 標(biāo)記外接輪廓和最高最低點(diǎn)的過程Fig 5 Marking the highest and lowest points in the camera video of stooping

2.3 HMM分類

HMM具有學(xué)習(xí)和訓(xùn)練觀測(cè)數(shù)據(jù)序列的能力，故常被用為模式識(shí)別的方法。一個(gè)HMM可以定義為五元組，在本文中不同的元組對(duì)應(yīng)摔倒事件中不同的參數(shù)定義。通過訓(xùn)練圖像樣本序列，根據(jù)Baum-Welch Algorithm[11]方法計(jì)算得到其5個(gè)參數(shù)，從而獲得檢測(cè)程序中所需的HMM分類器。

在檢測(cè)過程中，只需將輸入視頻幀圖像提取到的特征參數(shù)輸入該HMM分類器，即可對(duì)該圖像中行為實(shí)現(xiàn)二分類，判別是否發(fā)生了摔倒事件。

3 實(shí)驗(yàn)結(jié)果與分析

本文使用2臺(tái)ALW—641CX攝像機(jī)從左右2個(gè)方向?qū)崟r(shí)采集視頻圖像。為驗(yàn)證用來判別摔倒事件特征的有效性，對(duì)彎腰和系鞋帶2組容易混淆的動(dòng)作做了對(duì)比。同時(shí)設(shè)計(jì)了面向攝像機(jī)摔倒和垂直于攝像機(jī)摔倒的動(dòng)作，取前200幀圖像計(jì)算得到不同行為人體高度曲線如圖6，從圖中很明顯看出本文算法可以有效區(qū)別不同動(dòng)作，有助于后續(xù)摔倒行為的識(shí)別。

圖6 標(biāo)定后不同動(dòng)作人體高度曲線圖Fig 6 Human height curve of different actions after calibration

為從整體上評(píng)估算法的可靠性和準(zhǔn)確性，本文設(shè)計(jì)了站、坐和躺3種行為，每種包括2組摔倒和2組不摔倒的情況。其中，一組作為HMM算法的訓(xùn)練組，另一組作為測(cè)試組，實(shí)驗(yàn)結(jié)果得出:該算法檢測(cè)準(zhǔn)確率高達(dá)到93.3 %。

經(jīng)過圖7～圖11與GMM[12]，Codebook[13]和FCFF[7]方法的處理結(jié)果比較，明顯可以看出:本文算法具有更好的魯棒性，能夠有效解決陰影和慢速移動(dòng)帶來的重影等問題，獲得完整準(zhǔn)確的前景目標(biāo)。其中,圖7是視頻源文件，圖8～圖10分別是GMM,codebook 和 FCFF的處理結(jié)果，圖11為本算法的處理結(jié)果。

圖7 視頻源文件Fig 7 Source video images

圖8 GMM背景減法處理效果Fig 8 Results of GMM

圖9 Codebook背景減法處理效果Fig 9 Results of codebook

圖10 FCFF背景減法處理效果Fig 10 Results of FCFF

圖11 本文算法背景減法處理效果Fig 11 Results of this paper algorithm

除準(zhǔn)確率與魯棒性，實(shí)時(shí)性也是衡量算法的重要指標(biāo)。表1中顯示了本文算法與GMM,Codebook和 FCFF算法的處理時(shí)間對(duì)比。可以看出本文算法具有良好的實(shí)時(shí)性，更適用于嵌入式系統(tǒng)的實(shí)現(xiàn)。

表1 幾種不同前景提取算法的效率比較Tab 1 Efficiency comparison of different foreground extraction algorithm

4 結(jié) 論

本文設(shè)計(jì)了一種基于雙目標(biāo)定的老人摔倒檢測(cè)算法，該算法通過色彩不變性分割前景目標(biāo)，采用雙目視覺標(biāo)定計(jì)算人體在三維坐標(biāo)中高度作為特征信息，通過HMM分類器進(jìn)行行為識(shí)別，能夠有效區(qū)分易混淆動(dòng)作，防止誤判，準(zhǔn)確率高達(dá)93.9 %。實(shí)驗(yàn)結(jié)果表明:該算法易于實(shí)現(xiàn)，具有較好的魯棒性和實(shí)時(shí)性，為遠(yuǎn)程醫(yī)療與監(jiān)護(hù)系統(tǒng)的實(shí)現(xiàn)奠定了基礎(chǔ)。

[1] 中國科學(xué)院離休干部工作局.國外如何解決人口老齡化問題[EB/OL].[2009—04—27].http:∥www.lt.cas.cn/kykw/kyjq/200905/t20090520_203512.html.

[2] 汪穎翔,劉 芹,蘆 珊.傳感器在檢測(cè)老年人摔倒中的應(yīng)用[J].魅力中國,2011 (5):396-396.

[3] 王 榮,章 韻,陳建新.基于三軸加速度傳感器的人體跌倒檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用,2012,32(5):1450.

[4] Porteus J,Brownsell S J.Exploring technologies for independent living for older people[R].A report on the Anchor Trust/BT Telecare Research Project,Anchor Trust,2000.

[5] Geusebroek J M,Van den Boomgaard R,Smeulders A W M,et al.Color Invariance[J].IEEE Transactions on,Pattern Analysis and Machine Intelligence,2001,23(12):1338-1350.

[6] 馮 蓉.老人和殘疾人智能家庭的算法設(shè)計(jì)和實(shí)現(xiàn)[D].杭州：浙江大學(xué),2013.

[7] Benezeth Y,Jodoin P M,Emile B,et al.Comparative study of background subtraction algorithms[J].Journal of Electronic Imaging,2010,19(3):033003—03—033003—12.

[8] Florack L M J,Ter Haar Romeny B M,Koenderink J J,et al.Scale and the differential structure of images[J].Image and Vision Computing,1992,10(6):376-388.

[9] Lowe D G. Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[10] 王彥霞,王震洲,劉教民.基于雙目立體視覺的三維建模算法[J].河北科技大學(xué)學(xué)報(bào),2008,29(3):219-222.

[11] Yamato J,Ohya J,Ishii K.Recognizing human action in time-sequential images using hidden Markov model[C]∥Recognitions of Computer Vision and Pattern Proceeding CVPR’92.,1992 IEEE Computer Society Conference on.IEEE,1992:379-385.

[12] Zhou D,Zhang H.2d shape measurement of multiple moving objects by gmm background modeling and optical flow[M]∥Image Analysis and Recognition.Berlin Heidelberg:Springer：2005:789-795.

[13] Kim K,Chalidabhongse T H,Harwood D,et al.Real-time foreground-background segmentation using codebook model[J].Real-time Imaging,2005,11(3):172-185.

Algorithm for falling down detection of solitary elderly person based on binocular vision calibration

CHENG Tian，YANG Si-si, FENG Rong, ZHOU Hong

(College of Biomedical Engineering & Instrument Science,Zhejiang University,Hangzhou,310027,China)

Falling down of solitary elderly person has become a concerned problem.In order to get information of falling down of elderly person quickly and efficiently,a method for falling down detection of solitary elderly person based on binocular vision calibration is proposed.The algorithm segments foreground objects(elderly person) by color variation;uses binocular vision calibration to calculate person height in 3D coordinate as feature information,which can effectively distinguish confused behavior,prevent misjudgments and increase accuracy of detection.Experimental results show that the proposed algorithm is easy to implement with good robustness and real-time.

binocular vision calibration; color invariant; falling down detection

10.13873/J.1000—9787(2014)10—0100—04

2014—03—15

TP 391

A

1000—9787(2014)10—0100—04

程 添(1989-),男，浙江溫州人，碩士研究生，主要從事嵌入式系統(tǒng)和圖像處理研究。