低層特征與高層語義融合的人體行為識別方法

王忠民,周肖肖,王文浪

(西安郵電大學 計算機學院,西安 710121) E-mail:zhou_xiao629@163.com

1 引 言

跌倒是導致中老年人安全與健康問題的主要原因之一,對于中老年人的跌到檢測有著重要意義.但是由于跌倒行為的數據采集困難,造成樣本集中該行為數據所占的比例較少,這種小樣本數據會造成訓練集中各行為的數據不平衡和跌倒行為數據不充足等問題.

傳統基于低層統計特征的人體行為識別方法是利用加速度數據提取統計特征來識別人體日常行為,如靜止、跑步、走路等,其具有較廣泛的應用前景[1-3].該類方法側重于整體的分類準確率,在樣本集中包含小樣本數據行為時,該類方法會為了整體的分類效果犧牲小樣本行為的識別準確率,導致對包含小樣本行為的數據集的平均識別率較低[4].

對于不平衡數據來說,小樣本類通常是影響整體分類準確率的主要原因.國內外研究人員對小樣本數據問題的研究取得了一定成果[5,6].在數據預處理方面主要通過重采樣技術[7,8],對樣本進行過采樣或者欠采樣,調整樣本集不平衡程度,但這類采樣方法的隨機性和盲目性,容易造成重要樣本信息的丟失,影響分類效果.在分類算法方面主要是對現有分類算法的改進,提升算法對小樣本數據行為的識別準確率,如最小二乘支持向量機是改變了支持向量機的標準約束條件和風險函數,以便于提高訓練效率[9].這類分類算法只考慮了數據的低層統計特征與類別之間的關系,而忽略了低層特征和高層語義特征、高層語義特征與類別之間的關系,導致這些分類方法泛化性較差,存在一定的分類局限性.

作為對類別的高層特征描述,語義屬性學習在圖像描述、圖像識別與檢索、人臉檢測和零樣本識別方面有較好的應用[10-13].引入語義屬性的分類方法解決了低層特征與類別之間的語義差距,但是該類方法目前在計算機視覺中圖像分類領域應用較為廣泛,在人體動作識別應用方面主要是對視頻中人體行為的檢測.文獻[14]雖提出了屬性學習在加速度傳感器數據中的人體行為識別方法,但該文獻中站立、坐著和躺著這三種行為的各個屬性對應相等,即這三類行為的屬性向量相同,造成這三種行為的識別率較低,進而影響整體的識別效果.

考慮到上述因素,在識別含有小樣本行為的數據集時,為將低層特征和語義屬性特征的信息進行互補,本文提出一種結合低層特征與語義屬性特征的人體行為識別方法.在基于低層特征人體行為識別的基礎上引入語義屬性,增加表達行為的屬性數目,避免行為之間屬性表達相同,利用特征、屬性和行為類別之間的關系獲取高層語義屬性集,將其與低層特征集分別輸入到隨機森林分類器中,利用融合算法將兩種信息的識別結果進行最優選擇,得到最終的識別結果.引入語義屬性的分類方法不但提高了傳統低層統計特征分類方法和屬性特征分類方法的泛化性能,而且提高了小樣本數據行為的分類識別精度.

2 結合兩種特征的人體行為識別方法

2.1 識別方法的結構框圖

結合低層特征與語義屬性特征的人體行為識別方法如圖1所示,主要包括3部分:基于低層統計特征的分類識別、基于高層語義特征的分類識別和兩種特征信息分類結果的融合.

第一部分是基于低層統計特征的分類識別,該部分按照傳統的基于加速度傳感器的人體識別方法進行識別[1,3],得到對樣本低層特征的預分類結果,由于該類方法的研究已經較為成熟,本文不做過多敘述;第二部分是基于語義屬性特征的分類識別,依據提取的低層統計特征,通過屬性檢測器得到樣本對應的屬性特征,再對屬性特征進行分類,得到預分類結果;第三部分是兩種特征信息分類結果的融合,該部分是將兩種特征信息的預分類結果按照融合算法進行最優選擇,對兩種特征信息識別性能進行互補.

圖1 結合兩種特征的人體行為識別方法Fig.1 Human activity recognition combined with low-lever feature and high-lever semantic feature

2.2 語義屬性學習

行為的語義屬性是指能體現行為動作變化較直觀的中間層特征,例如,“走路”這一行為可以用“身體中速運動”、“腿部運動”,“胳膊中速運動”等屬性來表示[15].行為的語義屬性與低層特征之間最大的區別在于前者具有明確的語義,是可以被人類直觀理解的,且不同行為的語義屬性特征是由低層特征得到的.

高層語義屬性的人體行為識別方法的核心思想是將屬性特征作為低層特征與行為之間的橋梁,是對行為類別的高級特征表示.如圖2所示,語義屬性學習分為兩個階段,第一階段需要構建低層特征與語義屬性之間的關系,第二階段需要構建語義屬性與類別之間的關系.

圖2 語義屬性學習Fig.2 Semantic attribute learning

在人體行為識別中,屬性描述可看作是某行為語義含義的特征描述,屬性學習可視為對這種語義描述的學習.假設X表示特征空間,其共有D種特征,xi={X1,X2,…,XD}表示行為樣本i的D維特征向量,Y表示行為類別空間,行為類別有K種,y∈{Y1,Y2,…,YK}表示人體行為類別,A表示屬性空間,共有M個屬性,ai={A1,A2,…,AM}表示行為樣本i的M維屬性向量.那么屬性分類模型可表示為低層特征到語義屬性、語義屬性到行為類別之間的映射,即:

f:X→A→Y

(1)

上式可被分解為如下形式:

H=F2(F1(x))

(2)

其中F1:X→A是低層特征層到語義屬性層的映射,包括M個屬性檢測器,每一個屬性檢測器將特征向量映射到相對應的屬性維度上,得到樣本的屬性向量.F2:A→Y是屬性層到類別標簽的映射,包含一個對屬性向量進行分類的分類器,其將屬性向量映射到類別空間.

2.3 高層語義特征的人體行為識別

屬性學習應用到人體行為識別的具體實現如圖3所示.為實現低層特征與語義屬性之間的關系,基于語義屬性特征的分類識別方法需要為每個屬性檢測器劃分子訓練集,由每個屬性檢測器得到相應的屬性值;對于語義屬性與行為類別之間的映射關系,通過屬性-行為矩陣,將上一步得到的屬性向量利用分類器算法進行預測,得到該屬性向量的各行為分類概率.

圖3 高層語義特征分類識別Fig.3 recognition of high-lever semantic feature

在含有小樣本行為的樣本集中,屬性可以用來彌補小樣本行為的數據信息不足.利用樣本數多的行為數據學習屬性檢測器,然后利用學習后的屬性檢測器對小樣本行為數據進行預測識別.例如,利用大量的下樓行為的數據學習“身體向下運動”這一屬性檢測器,學習好的檢測器將不僅可以檢測下樓動作的屬性是否存在,還可以檢測跌倒動作的屬性是否存在.

2.3.1 屬性-行為矩陣的構建

屬性-行為矩陣是反映行為和語義屬性之間的表征關系,代表行為與屬性之間是否關聯,即如何由屬性特征來描述行為對象.定義M×K維的屬性-行為矩陣,其中M表示屬性個數,K表示行為類別種類,每一行表示各行為在某一屬性下的值,元素aij的值代表屬性i和行為j之間是否關聯,這樣每一種行為便可由一列屬性表示.矩陣中每個屬性為二值屬性,根據屬性與行為之間的關聯是否存在而取值,存在則aij=1,反之則aij=0.圖4所示是本文實驗中定義的二值屬性-行為矩陣.在實際應用中,可以使用屬性描述來定義一個新添加的行為,即相當于在該屬性-行為矩陣中添加一個新的列.

圖4 屬性-行為矩陣Fig.4 Attribute-activity matrix

2.3.2 屬性檢測器

獲得屬性-行為矩陣之后,低層特征需要通過屬性檢測器獲取高層語義屬性,得到樣本低層統計特征對應的屬性特征.為檢測每一訓練樣本所對應的各個屬性是否存在,需要預先對每個屬性訓練相應的屬性檢測器.具體步驟如下:

步驟1.為每一個屬性檢測器生成一個子訓練集.在某一屬性下,子訓練集由正樣本集和反樣本集組成,為減少重新采集數據帶來不必要的研究損耗,將低層特征訓練樣本集中與該屬性有關的所有帶標簽行為樣本看作為正樣本集,并將樣本標記為1,類似地,反樣本集是由低層特征訓練樣本集與該屬性無關聯的所有行為樣本組成,樣本標記為0.這樣得到的子訓練集便是該屬性檢測器的輸入訓練樣本集.

步驟2.定義的屬性是二值屬性,則檢測屬性是否存在相當于二元分類問題,隨機森林、決策樹、支持向量機、貝葉斯等分類方法[16]都可以用來檢測屬性,本文使用隨機森林作為屬性檢測器進行屬性檢測,得到樣本的屬性值.

步驟3.對屬性檢測器進行訓練后,特征樣本由M個屬性檢測器中分別獲得對應的屬性值,將其按照屬性-行為矩陣組合成樣本的屬性向量ai={A1,A2,…,AM},這便是從低層特征得到的語義屬性特征.

2.3.3 屬性分類器

由已有研究證明隨機森林對樣本分布不均勻和缺失特征數據的問題仍可以維持識別準確度,且不容易出現過擬合問題[17].語義屬性特征分類方法的分類器采用隨機森林算法,將語義屬性特征作為該分類器的輸入,根據屬性-行為矩陣,預測得到最終屬性所代表的行為類別.該過程類似于傳統基于低層特征的分類識別,即將語義屬性特征看作低層特征信息,作為分類器的輸入數據,分類器對其特征信息進行訓練和測試,得到輸出的分類概率.

2.4 兩種特征分類融合

傳統基于低層統計特征的分類識別側重整體的識別效果,對于含有小樣本行為的樣本集的識別效果不理想.當行為類別較多時,基于語義屬性特征的分類識別中可能會存在某些行為的屬性表達相近或相同,造成這些行為容易誤判.如圖4中,屬性集中如果不包含行為水平方向和垂直方向的運動屬性,走路、上樓和下樓這三種行為的屬性表達將相同.

由已有研究發現,對多模型的識別性能進行互補可以使用分類器融合方法來實現.其他多分類器融合方法是對同一低層統計特征的多個分類器識別結果進行融合,而本文提出的方法是利用分類器對兩種不同特征信息的識別結果進行融合,實現了兩種特征信息的組合.

融合算法主要包括多數投票法、最大值法、平均值法、乘積法等[18],由于只是為了充分利用語義屬性特征和低層特征包含的有效信息,對兩種特征表達的信息進行互補,本文使用應用較為廣泛的最大值法進行兩種特征的融合.

圖5 基于融合模型的識別框架Fig.5 Recognition framework based on fusion model

在實際應用中,隨著寬帶增加、網速提高,將所提出的融合模型結合“移動端+云端”平臺進行人體行為識別,其整體框架如圖5所示.在云端利用采集到的數據進行融合分類模型的訓練,當用戶利用移動平臺將自身采集到的數據實時上傳到云端時,云端通過訓練后的分類模型進行預測處理,并將處理結果實時返回給用戶移動端.

3 實驗結果及分析

3.1 數據集與實驗設計

所有實驗數據均基于Android智能手機的內置加速度傳感器,在現實環境中,由17名包括不同性別、不同年齡段的實驗者采集走路、跌倒、靜止、跑步、上樓和下樓這6種日常行為的三維加速度數據,采集時每位實驗者的智能手機放置位置分別為手中、包中和褲子口袋中,放置方向包括手機橫放,顛倒放置和平放,采樣頻率為50Hz.6種行為中,考慮到跌倒行為的加速度數據較難采集,實驗中該行為的訓練數據共采集了156條數據,其他行為的加速度數據各進行10次采集,單次采樣時間為5秒,為減少其他行為訓練數據對實驗帶來不必要的影響,在實驗中其他行為的訓練樣本選擇相同的數目,進行測試時跌倒樣本數量和其他行為一致,具體數據分布如表1所列.在進行實驗時,為了更好地模擬真實場景,將訓練集中跌倒樣本的數量從5到156進行增加,從而觀察跌倒行為訓練樣本數目的變化對識別率的影響.

表1 實驗數據集
Table 1 Experimental dataset

行為類別行為標簽訓練集數據量測試集數據量走路1180002400跌倒21562400跑步3180002400靜止4180002400上樓5180002400下樓6180002400

在實際采集數據時,實驗者自身動作差異、手機放置位置與放置方向差異會對采集的數據造成一定的干擾.因在不同坐標系下合成加速度都相同,實驗中為解決手機內置傳感器的坐標隨著人體運動不斷改變的問題,選取合成加速度來減少每軸加速度輸出值的坐標映射計算.其中ax、ay和az分別代表軸的加速度,合成加速度為:

(3)

由于合成加速度與方向無關,為反映人體在上下、左右、前后方向的運動趨勢,需要根據每個軸的加速度計算水平和垂直方向的加速度.垂直方向的加速度為:

av=az

(4)

水平方向的加速度為:

(5)

3.2 實驗步驟

具體的實驗步驟如下:

1)獲取低層特征.首先對采集到訓練集和測試集的加速度信息進行濾波處理,計算三個坐標軸合成加速度、垂直加速度和水平加速度;其次采用傳統的基于加速度傳感器數據的特征提取方法,提取具有時頻域特征的特征向量集{平均值,中位數,最大值,最小值,范圍,方差,標準差,均方根,x軸與y軸數據的相關系數,y軸與z軸數據的相關系數,x軸與z軸數據的相關系數,頻譜能量};最后采用蟻群算法[3]對初步提取的特征集進行特征優選,其參數設置如表2所示,得到最終訓練和測試所需的低層特征集{中位數,范圍,x軸與z軸數據的相關系數,y軸與z軸數據的相關系數}.

2)獲取語義屬性特征.首先定義屬性-行為矩陣;其次按照屬性-行為矩陣劃分各屬性檢測器的子訓練特征集;最后利用各低層特征訓練子集學習各屬性檢測器,預測低層特征測試集對應的語義屬性特征.

表2 蟻群算法參數設置
Table 2 Parameter setting of ant colony algorithm

參數 值 迭代次數MI5初始信息素水平u00.5特征值個數n2,3,4,5信息素啟發因子α0.8期望啟發因子β0信息素參數ρ0.3概率變化系數ε0.9螞蟻個數m3激勵因子l0.8閾值Q0.85

3)兩種特征分類融合.首先利用隨機森林分類器分別對低層特征和高層語義特征進行分類訓練和測試,得到兩者的分類概率;其次對每一個行為類別,根據最大融合算法從兩個特征分類概率中找出可能是該行為的概率的最大值;最后按照取最大法的判決函數找出這些值中最大的行為類別標簽作為最終的分類結果.

3.3 實驗對比與性能分析

實驗中小樣本行為是跌倒行為,在基于低層特征分類方法、高層語義特征分類方法和特征分類融合方法下,各行為的識別率隨著跌倒行為訓練樣本數目的變化如圖6所示.

圖6 跌倒樣本個數變化對各行為識別率的影響Fig.6 Influence of the activity recognition rate with the number of fall down changing

在低層特征分類識別中,對于跌倒這一行為,其識別率隨著訓練樣本數的增加有明顯的提高,每增加5個小樣本數據,識別率增長約20%;在整個跌倒訓練集樣本個數變化過程中,上樓和下樓各有1%的提升,其他3種行為的識別率無較大變化.這種現象的原因在于利用低層特征分類方法進行人體行為識別時,需要足夠多的各種行為訓練數據以供分類器用來學習,跌倒行為樣本過少,導致其與訓練集中其他行為的數據不平衡,跌倒行為無法提供足夠的用于分類器學習的特征數據,致使跌倒行為識別率較低;其他行為訓練數據比較充足,在跌倒行為的樣本數發生變化時,對其影響不明顯.

在高層語義特征識別中,根據屬性-行為矩陣中小樣本行為和其他行為之間的屬性關系,相同屬性下,跌倒行為的屬性檢測可以共享其他行為的低層特征信息.圖6結果顯示,高層語義屬性分類方法中,跌倒行為訓練數據的變化對6種行為的識別率無較大影響,但是上樓、下樓和跑步這三種行為的屬性表達比較相近,致使上樓和跑步的識別率相較于低層特征分類方法有所下降.

從以上分析可看出,這兩種分類方法各有優缺點.而本文提出的結合低層特征和高層語義屬性特征的人體行為識別方法,利用取最大值法將兩種特征的有用信息進行互補,各行為的識別率較前兩個分類方法有所提高.

三種識別方法對跌倒行為、其他行為和所有行為的總體性能對比如圖7所示,在跌倒行為的訓練樣本個數為10時,相較于低層特征分類方法,特征分類信息的融合方法對于跌倒行為的識別率提高了57.37%,對其他行為的識別率提高4.35%,對6種行為的平均識別率提高了17.4%.與語義屬性分類方法相比,特征分類信息的融合方法對于跌倒行為的識別率提高了1.19%,對其他行為的識別率提高2%,對于6種行為的平均識別率提高了2.66%.說明了本文分類方法的識別性能對于低層特征分類和高層語義特征分類均有所提高,驗證了特征融合方法的有效性.

圖7 三種方法識別性能對比(跌倒行為的樣本個數為10)Fig.7 Comparison of recognition performance of three methods(the number of fall down is 10)

為驗證本文特征分類信息的融合方法與其他小樣本數據分類方法的識別性能,將本文方法與欠抽樣方法(Under-sampling,US)、過抽樣方法(Synthetic Minority Over-sampling Technique,SMOTE)和最小二乘支持向量機(least squares support vector machine,LS-SVM)進行比較,結果如表3所示,其中Number表示訓練數據集中跌倒行為的樣本個數.

由表3可看出,隨著訓練數據集中跌倒行為樣本個數的變化,本文方法的平均識別率和其他方法相比有明顯提高.其中在小樣本數據個數為10時,相較于欠抽樣方法、過抽樣方法和最小二乘支持向量機,本文方法的平均識別率分別提高了33.05%、21.2%和8.21%.

在Number從5增加到10時,本文所提方法的平均識別率提高了22.59%,Number從10變化到156時,平均識別率變化了1.73%.這說明該方法在小樣本行為的樣本數較少的時候,對樣本數的變化較為明顯,對樣本個數變化有較好的敏感度,在樣本數較少的情況下有較好的穩定性.

表3 本文方法與其他方法平均識別率的比較(%)
Table 3 Compared with the average of recognition rate of other methods

NumberUSSMOTELS-SVM本文方法50.56610.65880.55310.7176100.61300.73150.86140.9435150.69720.72830.89970.9506200.75600.78760.92150.95231560.81940.86020.93800.9608

以上實驗結果表明,本文方法對基于低層特征與語義屬性特征的信息進行了互補,可以有效的實現小樣本數據行為的識別.

4 結束語

為解決跌倒檢測中跌倒行為的樣本采集困難,數據集中該行為樣本過少導致的識別效果較差的問題,提出了結合低層特征與高層語義特征的人體行為識別方法.該方法引入高層語義屬性概念,從低層特征和行為類別之間獲取中間層語義特征,并將其識別性能與低層特征識別性能進行互補,提高傳統低層特征識別方法對含有小樣本數據行為的泛化性能.實驗結果表明,該方法對跌倒行為的識別率和6種行為的平均識別率在一定程度上均有所提高,驗證了所提方法的有效性.但是在具體應用中仍存在一些問題,當行為類別較多時,其高層語義屬性的選擇會越來越復雜;實際平臺中云端數據處理速度以及云端和移動終端之間網絡傳輸速率等也會影響整個識別系統性能,如何更好地解決這些問題是下一步的研究內容.

[1] Su X,Tong H,Ji P.Activity recognition with smartphone sensors [J].Tsinghua Science and Technology,2014,19(3):235-249.

[2] Heng Xia,Wang Zhong-min.Human activity Recognition based on accelerometer data from a mobile phone [J].Journal of Xi′an University of Posts and Tele comm-unications,2014,9(6):76-79.

[3] Wang Zhong-min,Cao Dong.A feature selection method for behave-or recognition based on ant colony algorithm [J].Journal of Xi′an University of Posts and Telecommunications,2014,19(1):73-77.

[4] Wang S,Yao X.Multi-class imbalance problems:analysis and potential solutions[J].IEEE Transactions on Systems,Man,and Cybernetics—Part B:Cybernetics,2012,42(4):1119-1130.

[5] Ali Mirza Mahmood.Class imbalance learning in data mi-ning -a survey[J].International Journal of Communicati-on Technology for Social Networking Services,2015,3(2):17-36.

[6] Rajeshwari P,Maheshwari D.A study of imbalanced classification problem [J].International Journal of Advan-ced Research in Computer and Communication Engin-eering,2016,5(8):66-69.

[7] Wu Lei,Fang Bin,Diao Li-ping,et al.Imbalanced data resampling based on oversampling and under-sampling [J].Computer Engineering and Applications,2013,49(21):172-176.

[8] Yan Xin.Comprehensive oversampling and under-sampling study of imbalanced datasets[D].Jilin: Northeast Electric Power University,2016.

[9] Zhao Hui,Huang Jing-tao,Tan Shu-cai.Research on classification of imbalanced data based on least squares support sector machine[J].Microelectronics & Computer,2010,27(4):33-37.

[10] Parikh D,Grauman K.Relative attributes[C].IEEE International Conference on Computer Vision (ICCV),2011,6669(5):503-510.

[11] Lampert C H,Nickisch H,Hameling S.Learning to detect unseen object classes by between-class attribute transfer[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR),2009:951-958.

[12] Yu Yong-bin,Liu Qin-yi,Mao Qi-rong,et al.Facial expression recognition method based on semantic attribute [J].Journal of Chinese Computer Systems,2016,37 (2):332-336.

[13] Cheng H T,Griss M,Davis P,et al.Towards zero-shot learning for human activity recognition using semantic attribute sequence model[C].ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp),2013:355-358.

[14] Le T N,Zeng M,Tague P,et al.Recognizing new activities with limited training data[C].International Symposium on Wearable Computers (ISWC),2015:67-74.

[15] Cheng H T,Sun F T,Griss M,et al.Nuactiv:reco-gnizing unseen new activities using semantic attribute based learning[C].International Conference on Mobile Systems,Applications,and Services (MobiSys),2013:361-374.

[16] Lara O D,Labrador M A.A survey on human activity recognition using wearable sensors[J].Communication Surveys & Tutorials,IEEE,2013,15(3):1192-1209.

[17] Río S D,López V,Benítez J M,et al.On the use of map reduce for imbalanced big data using random forest[J].Information Sciences,2014,285(20):112-137.

[18] García-Pedrajas N,Ortiz-Boyer D.An empirical study of binary classifier fusion methods for multiclass classi-fication [J].Information Fusion,2011,12(2):111-130.

附中文參考文獻：

[2] 衡 霞,王忠民.基于手機加速度傳感器的人體行為識別[J].西安郵電大學學報,2014,9(6):76-79.

[3] 王忠民,曹 棟.基于蟻群算法的行為識別特征優選方法[J].西安郵電大學學報,2014,19(1):73-77.

[7] 吳 磊,房 斌,刁麗萍,等.融合過抽樣和欠抽樣的不平衡數據重抽樣方法[J].計算機工程與應用,2013,49(21):172-176.

[8] 閆 欣.綜合過采樣和欠采樣的不平衡數據集的學習研究[D].吉林：東北電力大學,2016.

[9] 趙 會,黃景濤,談書才.最小二乘支持向量機的一種非均衡數據分類算法[J].微電子學與計算機,2010,27(4):33-37.

[12] 于永斌,劉清怡,毛啟容,等.基于語義屬性的人臉表情識別新方法[J].小型微型計算機系統,2016,37(2):332-336.