基于信道狀態信息的人體復雜動作識別方法

郝占軍,段 渝,黨小超,曹 淵

(1.西北師范大學 計算機科學與工程學院,蘭州 730070; 2.甘肅省物聯網工程研究中心,蘭州 730070)

0 概述

無線通信基礎設施的廣泛部署,促進了以基于無線通信網絡的人類行為識別為核心技術的各種應用發展[1]。傳統的人類行為識別需要配置可以佩戴在人體上或者部署在環境中的物理傳感設備[2],如UWB、RFID和加速度傳感器等,通過讀取其采集的信息進行行為識別。盡管傳統的行為識別方法已被普遍使用并取得了良好效果,但因其需要特定的傳感器設備,使用成本較高。隨著無線通信技術的發展,基于Wi-Fi的行為識別由于其在室內區域中的普遍可用性而受到越來越多的關注。由于無需穿戴傳感器設備就可以自動識別人體行為,因此該技術已在現實生活中得到廣泛應用,例如智能家居、遠程醫療保健、校園安全、重癥病人監護、老年人活躍度檢測等[3]。

傳統的室內人類行為檢測主要依靠接收信號強度(Received Signal Strength,RSS)方法[4]。但實驗結果表明,RSS方法的動作識別效果差,穩定性低。與RSS相比,信道狀態信息(Channel State Information,CSI)是一種MAC層更細粒度的度量,其描述了無線信號的幅度衰減和相位移動[5],通過CSI可有效識別生命體征、基本行為以及復雜的活動[6]。例如:文獻[7]通過分析CSI信號來檢測心率和呼吸頻率;文獻[8]開發E-eyes系統來進行人體步態識別;文獻[9]開發WiFi-ID系統來識別人類身份。根據識別算法和應用場景的不同,CSI人體動作識別方法可以分為基于模型的識別和基于指紋庫的識別,兩者最主要的區別為是否需要進行先驗學習[10]。基于模型的識別方法通過接入大量的接入點(Access Point,AP)來準確識別人類行為,例如文獻[11]建立的Fresnel模型,這導致了硬件成本和維護費用較高。基于指紋庫的識別方法通過離線階段訓練和在線階段識別進行模式匹配,即可實現人體動作的識別,其無需密集部署AP,甚至可以僅使用單個AP,硬件和維護成本較低且基本不會影響人類的正常生活。

目前多數CSI人類行為識別研究僅能識別簡單的日常行為或者單一的人體站立蹲起姿勢,在實際場景中無法有效地識別復雜的人體動作。為此,本文提出一種基于CSI的人體復雜動作識別方法Wi-KongFu。將識別過程分為離線和在線2個階段,離線階段采集形意拳招式的CSI數據進行訓練并構建特征指紋庫,在線階段通過對采集動作數據分類并與特征指紋庫匹配,得到最終識別結果。

1 相關理論

1.1 信道狀態信息

Wi-Fi信號在標準協議下傳輸使用正交頻分復用(Orthogonal Frequency Division Multiplexing,OFDM)調制方式,將數據編碼到若干條不同頻率載波上。本文使用文獻[12]中的工具從商用Atheros網卡中提取CSI,以其時域和頻域信號反映從接收機到發射機數據鏈路中的信道信息狀態。CSI是MAC層一種細粒度的特征,其反映的信號衰減,包括折射、反射、衍射、功率的衰減等信息。

在OFDM傳輸系統中,一個CSI通用模型可表示為:

Y=HX+N

(1)

其中,Y、X分別代表接收信號向量和發射信號向量,H與N分代表CSI矩陣和加性高斯白噪聲。由式(1)可以得出:

(2)

H=[H(f1),H(f2),…,H(fN)]

(3)

其中,N為不同信道帶寬設置下子載波分組個數。當信道帶寬設置為20 MHz時,N=30;當信道帶寬設置為40 MHz時,N=114。從數據包中解析出每一個子載波的CSI頻域和時域信息:

H(i)=|H(i)|ejsin∠H(i)

(4)

其中,H(i)表示第i的子載波的CSI值,|H(i)|表示第i個子載波的幅度值,∠H(i)表示第i個子載波的相位值。

1.2 巴特沃斯低通濾波器

巴特沃斯低通濾波器是一種無線沖擊響應濾波器[13],若給定低通濾波器的幅頻函數為H(ε),則巴特沃斯低通濾波器的幅頻響應函數可以表示為:

(5)

其中,N為濾波階數,ΩC為截止頻率(單位rad/s),j為各階系數。一個濾波器的幅頻曲線包含通帶,阻帶以及過渡帶。對于通帶有:

1-δp≤|Ha(jΩ)|≤1+δp,|Ω|≤Ωp

(6)

對于阻帶滿足:

|Ha(jΩ)|≤δs,Ωs≤|Ω|≤∞

(7)

其中,Ωp、Ωs分別是通帶和阻帶的邊緣頻率,δs為通帶內濾波器與理想濾波器幅值偏差,δp為阻帶內濾波器與理想濾波器幅值偏差。

1.3 離散小波變換

小波變換被廣泛應用于信號處理,其最大優勢在于窗口的動態自適應性,通過調整窗口的寬度和高度,可以分析并提取出信號的有效信息。離散小波變換是對小波函數的參數作離散化處理[14-15],即對于尺度參數α,平移參數β,將ψα,β(t)中的連續變量取作整數離散形式,可得離散小波:

ψα,β(t)=2α/2ψ(2αt-k)

(8)

離散小波變換可以表示為:

Wf(α,β)=(f(t),ψα,β(t))

(9)

離散小波變換通過對參數α和參數β的調節,實現對信號的局部化處理[16]。

2 Wi-KongFu識別方法

離線階段采集每個形意拳招式的CSI數據,以振幅作為特征值,對采集到的CSI原始數據進行預處理,利用巴特沃斯低通濾波器和離散小波變換過濾異常數據,并使用受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)進行訓練分類,建立每個形意拳招式的標準指紋庫。在線階段在實驗環境中采集測試人員的形意拳招式動作數據并進行預處理,使用改進深度置信網絡(Deep Belief Network,DBN)對其進行進一步分類[17],然后與離線階段建立的拳法招式標準指紋庫進行實時匹配,識別具體的形意拳招式。Wi-KongFu方法識別流程如圖1所示。

圖1 Wi-KongFu方法流程Fig.1 Flowchart of Wi-KongFu method

2.1 離線數據采集

在拳法招式數據采集過程中,本文采用2×3鏈路,即2根發射天線和3根接收天線,每根天線可以接收56個子載波信道值。本文將形意拳動作分為8個招式來進行識別,分別為起式、崩拳、虎拳、馬形拳、鉆拳、橫拳、劈拳以及收式。在實驗過程中,分別在信號鏈路中做這8個拳法招式,以采集每個拳法招式的不同的CSI值。預采集的形意拳招式對應的特征值如圖2所示。

圖2 形意拳招式對應的特征值Fig.2 Corresponding eigenvalues of Xing Yi Quan actions

2.2 離線數據處理

2.2.1 數據預處理

圖3顯示了一幅形意拳招式的原始CSI振幅圖。

圖3 原始CSI振幅圖Fig.3 Original CSI amplitude map

從圖3可以看出存在許多異常值。異常值的存在會導致拳法招式的識別精確度下降,為此,本文分別采用巴特沃斯低通濾波器和離散小波變換過濾異常值中的高頻和低頻干擾。通過數據的預處理,過濾采集數據的異常值,最大程度地保留信號特征完整性,以便建立每個形意拳招式的特征指紋信息。

通過巴特沃斯低通濾波器濾除拳法招式CSI數據中的高頻異常數據,處理步驟如下:

步驟1設計巴特沃斯低通濾波器的幅頻傳遞函數H(ε)。

步驟2設置參數η(fn,fs,fp,Rp,Rs),生成可以處理振幅數據的巴特沃斯低通濾波器。其中,fn為采樣頻率,fs為阻帶截止頻率,fp為通帶截止頻率,Rp為通帶內波動最小衰減,Rs為阻帶內最小衰減。

步驟3以形意拳招式的振幅矩陣為原始信號,利用步驟2中設計的巴特沃斯低通濾波器進行處理,過濾振幅信號的高頻異常。

經巴特沃斯低通濾波器濾除異常的形意拳數據前后對比如圖4所示。可以看出,CSI數據變得更加平滑,且高頻異常被濾除。

圖4 巴特沃斯低通濾波器處理效果Fig.4 Processing effect of Butterworth low-pass filter

使用離散小波變換濾除CSI數據中的低頻干擾數據。將拳法招式特征信息作為離散小波變換的原始輸入信號,對其進行分解獲得近似部分和細節部分,近似表示低頻信息,細節表示高頻信息[18]。通過設置函數參數ζ(x[n],g[n],h[n],↓Q),完成對拳法數據中低頻信息的過濾。其中,x[n]為離散的輸入信號,g[n]為低通濾波器,h[n]為高通濾波器,↓Q為降采樣濾波器。經離散小波變換處理的數據如圖5所示。將濾除低頻異常后的CSI數據作為訓練樣本集,進行下一步對拳法數據的分類。

圖5 離散小波變換濾除低頻異常效果Fig.5 Effect of discrete wavelet transform filtering low frequency anomalies

2.2.2 形意拳招式動作分類

以上述預處理后的數據作為訓練樣本,使用RBM訓練。假設訓練集λ={λ(1),λ(2),…,λ(t)},其中,t為訓練樣本的個數,利用極大似然法求解RBM訓練的似然函數P(v):

(10)

本文采用k步對比散度算法對RBM網絡進行訓練,即其只需要M步吉布斯采樣就可以得到適合待訓練樣本模型的近似[19]。根據式(10),當顯層數據一定時,可推導出所有隱層神經元的激活狀態的概率,如式(11)所示。同理,當隱層數據一定時,也可以由式(12)推導出顯層神經元的激活狀態。

(11)

(12)

其中,σ(x)為神經元的非線性sigmoid激活函數,如式(13)所示。

(13)

2.2.3 離線指紋庫建立

對采集的形意拳招式數據進行預處理,作為指紋信息S=(S1,S2,…,SW)T。將S作為待訓練樣本集,對RBM進行訓練,訓練過程如下:

步驟1初始化RBM,對顯層神經元賦初值v0=v。

步驟2對訓練樣本集S進行吉布斯采樣,當時間l=1,2,…,M時,進行M步的吉布斯采樣。

步驟3對顯層神經元數據進行吉布斯采樣,并對其進行處理。可以由隱層采樣顯層,使用P(h(l)|v(l-1))計算出相應的vl。同理,對隱層神經元數據進行吉布斯采樣,可以使用P(hl-1|vl-1)計算出hl-1。

步驟4對隱層和顯層計算相應的期望值,完成訓練。

通過對訓練樣本集的M步吉布斯采樣后,系統就可以獲得一個適合訓練樣本模型的近似采樣值。與此同時,系統也可以確定顯層神經元的激活狀態,本文使用訓練后的指紋信息記作S′=(S′1,S′2,…,S′W)T,建立每個形意拳招式動作的特征指紋庫。

2.3 在線動作識別

2.3.1 在線識別

在線識別階段使用發射機采集每個待識別動作數據,將采集到的數據發送給接收機,選取CSI數據中的振幅作為特征值。信號中的頻率表示由身體運動引起的多徑變化速度,幅度表示信號的能量[20],因此,通過分析信號中的幅度信息,可以得到每個形意拳招式的幅度特征,進而判別出不同的招式動作。

在線階段識別流程如下:

步驟1在搭載Atheros網卡的接收機與發射機間采集實時形意拳招式數據。

步驟2選取形意拳招式CSI數據中的振幅作為特征值。

步驟3通過數據預處理過濾異常值。

步驟4將通過預處理的數據作為待訓練的樣本集,使用改進的DBN進行訓練,提高分類精度。

步驟5將分類后的形意拳招式數據與離線階段構建的形意拳招式指紋庫進行實時匹配,識別測試人員的動作。

2.3.2 在線形意拳動作分類

為了更好地對在線階段形意拳動作進行分類,本文使用改進的DBN模型對形意拳招式動作進行分類,其偽代碼如下:

輸出DBN模型以及參數θ′

//預訓練階段

//初始化DBN網絡

第一個顯層RBM值v(1)=v(x),對偏置a和偏置b賦初值為0,令權重參數W滿足正態分布(0,0.01);θ′(W′ij,a′i,b′j)

for epoch=1,2,…,Z

for j=1,2,…,Nh

//計算隱層神經元被激活的狀態:

從P(h1(j=1)|h1)中抽取均勻分布的隨機值h1(j)∈{0,1};

endfor

for j=1,2,…,Nv

//計算顯層神經元被激活的狀態:

從P(v2(i=1)|h1)中抽取均勻分布的隨機值v2(i)∈{0,1};

endfor

//微調階段:

//使用對比散度算法更新權重參數W,偏置a、b:

a→ma+ρ(v1-v2)

b→mb+ρ(P(h1=1|v1)-P(h2=1|v2))

3 實驗與結果分析

3.1 實驗環境

為驗證Wi-KongFu方法在實際場景中的可行性,本文采用設備為:2臺臺式電腦(網卡為Atheros AR9380,CPU為 Intel Core i3-4150,操作系統為Ubuntu 16.04 LTS4.1.10 Linux內核版)和5根1.5 m的外部天線。其中,一臺電腦作為發射端,另一臺作為接收端,分別將發射機和接收機Atheros網卡的天線觸點使用外部天線接出。實驗場地選擇為空曠無人的大廳、走廊和實驗室以對應多徑效應由低到高的變化。實驗環境和實驗環境平面結構如圖6所示。

圖6 實驗場地及其平面結構Fig.6 Experimental sites and the corresponding plane structures

3.2 實驗設計

設置3根發射天線和2根接收天線以形成 6條傳輸鏈路。保持接收機和發射機的高度、距離以及發射機發包速率一定,在3種不同實驗環境中,分別安排測試人員站在發射機和接收機中點位置做形意拳的固定招式,每個形意拳招式采集CSI數據5 000包,保存至接收機PC端,經過Wi-KongFu方法處理后,利用RBM對每個形意拳招式數據進行訓練學習,建立每個形意拳招式的標準特征指紋信息。

在線識別階段,在實驗場地中,測試人員站在發射機和接收機的中間位置做任意的形意拳招式,實時采集并處理CSI數據,使用DBN進行分類,通過已建立的形意拳招式標準特征指紋庫進行實時匹配,識別測試人員的形意拳具體招式。

3.3 性能分析

在離線階段形意拳招式動作標準指紋庫的建立過程中,發射機和接收機的距離、發射機的發包速率等設置對識別效果起到關鍵作用。

3.3.1 距離對識別性能影響

為了分析發射機和接收機之間距離對本文方法的影響,在離線指紋庫構建階段,保持其他條件不變,分別設置發射機與接收機之間距離為0.8 m、1.0 m、1.2 m、1.4 m、1.6 m、1.8 m、2.0 m,最終識別結果如圖7所示。可以看出,隨著發射機與接收機之間距離的增加,每個形意拳招式識別準確率基本呈現先上升后下降的趨勢,當發射機與接收機距離為1.2 m時,其識別準確率最佳。

圖7 發射機與接收機距離對識別效果影響Fig.7 Influence of the distance between the transmitter and the receiver on recognition effect

3.3.2 發包率對識別性能的影響

發射機的發包速率決定了相同時間內采集樣本的數量以及拳法招式動作在數據鏈路中被采集的靈敏度。由于信號在空氣中傳播有一定的衰減,因此相同時間下不同發包率采集到的樣本數據損失數目也不同。在其他條件一定時,本文將發包率設置為10包/s、20包/s、50包/s、100包/s,分析其對本文方法識別效果,結果如表1所示。可以看出,當發射機發包速率為10包/s時,拳法招式在數據鏈路中被采集的靈敏度最佳,異常值干擾最小,采集到的包數衰減最少,更能真實地反映每個不同形意拳招式對數據鏈路信號的影響。

表1 發射機發包速率對識別效果的影響Table 1 Influence of packet transmitting rate on recognition effect

3.3.3 不同人員對識別性能的影響

本文選取2個測試人員做相同形意拳招式動作,來驗證通過大量數據采集構建的形意拳招式標準指紋庫的可用性和Wi-KongFu方法的識別效果。以形意拳起式動作為例,2個測試人員分別在發射機與接收機距離為1.2 m、發包率為10包/s的條件下,做相同的起式動作,采集數據后通過Wi-KongFu方法進行處理,實驗結果如圖8所示。可以看出,采集到的振幅特征值趨勢近似一致,表明Wi-KongFu方法識別效果較好。

圖8 測試人員對Wi-KongFu方法的影響Fig.8 Influence of testers on Wi-KongFu method

3.3.4 不同實驗場地對識別性能的影響

本文根據多徑效應由低到高,分別在空曠無人的大廳、走廊、實驗室中進行實驗,結果如圖9所示。

圖9 3種場地的平均動作識別準確率Fig.9 Average action recognition accuracy rate at 3 different sites

可以看出,隨著采集數據包數的增加,本文方法在3種場地中拳法招式的識別準確率均能達到85%以上。其中,空曠無人的大廳為識別效果最好的場地,其次是走廊,最后是實驗室。這是因為實驗室環境復雜,多徑效應嚴重,大量障礙物對信號傳輸造成干擾,走廊中的障礙物較少,信號干擾并不嚴重,而空曠無人的大廳場地中幾乎沒有障礙物,多徑效應對實驗干擾很小。

3.3.5 動作識別效果分析

實驗分別采集2個測試人員多次做8個形意拳招式的數據,基于每個形意拳招式的標準指紋信息進行分類,并獨立驗證了每個招式動作。圖10通過混淆矩陣的形式,給出了形意拳招式識別的效果。可以看出,所有招式動作的識別準確率均在85%以上,起式的識別準確率達到90%,說明Wi-KongFu方法能對形意拳的8個招式動作進行有效區分。

圖10 8個形意拳招式動作的混淆矩陣Fig.10 Confusion matrix of 8 Xing Yi Quan actions

3.3.6 動作識別整體性能分析

為了驗證Wi-KongFu方法的整體性能,本文將其與CSI-SRC、傳統RSSI方法進行對比實驗,評價指標為準確率。3種方法的實驗結果如圖11所示。

圖11 3種方法準確率的比較Fig.11 Accuracy rate comparison of 3 methods

可以看出,3種方法的準確率均能達到80%以上,但相比于CSI-SRC與傳統RSSI方法,Wi-KongFu方法的準確率較高且相對穩定,整體識別性能較好。

4 結束語

本文提出一種基于CSI的人體復雜動作識別方法Wi-KongFu,并以形意拳招式作為復雜動作進行驗證。離線階段采集每個形意拳招式CSI數據,結合巴特沃斯低通濾波器和離散小波變換對其預處理后,使用RBM進行訓練并分類,建立標準指紋庫。在線階段使用改進的DBN方法對過濾后的實時數據進一步訓練和分類,并與指紋庫進行數據匹配,從而實現對不同形意拳招式的識別。實驗結果表明,與CSI-SRC和傳統RSSI方法相比,Wi-KongFu方法在魯棒性和動作識別準確率方面性能均較好。后續將對該方法進行改進,進一步提高識別精度并使其能分辨更細粒度的動作。