基于信道狀態(tài)信息的室內(nèi)人群計數(shù)方法*

吳哲夫，呂曉哲，方路平，龔樹鳳

(浙江工業(yè)大學信息學院，浙江 杭州 310023)

人群計數(shù)是人類活動感知應用的重要技術(shù)之一，在許多應用場景下，估計室內(nèi)人數(shù)具有重大的價值。例如智慧樓宇根據(jù)室內(nèi)人數(shù)來控制和優(yōu)化系統(tǒng)及能耗[1]，通過控制室內(nèi)人數(shù)可以有效降低安全事故發(fā)生率，抑制疫情疾病的傳播。此外，收集人數(shù)信息還可用于進一步應用場景分析，例如室內(nèi)人數(shù)信息可以用于衡量人們對商店中產(chǎn)品的感興趣程度，并依此選擇適當?shù)漠a(chǎn)品進行推薦；還可以根據(jù)不同時間段排隊的人員數(shù)量來進行流量調(diào)控，以優(yōu)化等待時間。

在計算機視覺領域內(nèi)，人群計數(shù)主要通過圖像分析技術(shù)來實現(xiàn)，主要分為基于檢測框和基于密度圖回歸兩種方法。在基于檢測框的方法上，康帥[2]通過改進YOLOv4算法在網(wǎng)絡主干部分中加入混合空洞卷積以提高行人特征提取能力，并且為了獲取更多細節(jié)特征，還提出用空間鋸齒空洞卷積結(jié)構(gòu)來代替原先網(wǎng)絡中的空間金字塔池化結(jié)構(gòu)。朱繁等[3]提出了一種基于改進Mask R-CNN的檢測算法，通過使用全卷積網(wǎng)絡分割前景對象以實現(xiàn)細粒度檢測。這種方法首先利用預測框檢測人體，根據(jù)預測框數(shù)量求和得到人數(shù)信息，但存在較為嚴重遮擋時準確率會大幅度降低。在基于密度圖回歸的方法上，Liu等[4]在人群計數(shù)中運用遷移學習，提出了一種基于高斯過程回歸貝葉斯模型自適應的解決方案。除此以外，近年來又提出了MCNN[5]、SwitchingCNN[6]、CSRNet[7]和SANet[8]等回歸模型。這些模型將輸入圖像映射成密度圖，在高密度環(huán)境下提高了預測精度。以CSRNet為例，模型將VGG-16的前10層作為前端，將空洞卷積層作為后端，以擴大感受野并在不丟失分辨率的情況下提取更深層的特征，并且使用純卷積層作為主干來支持具有不同分辨率的輸入圖像。

圖像中不同人的尺度大小經(jīng)常呈顯著變化，為了獲取尺度特征信息，基于圖像進行密度圖回歸的算法往往會設計多分支的具有不同大小感受野的網(wǎng)絡模型結(jié)構(gòu)。雖然這樣做確實能獲得一定性能的提升，但尺度的多樣性也受到了分支列數(shù)的限制。另一方面，列數(shù)越多模型復雜度越高，計算時間擴大的同時可能會導致效果變差。除了模型方面的問題外，由于基于圖像的預測方式需要依靠視頻或圖像采集技術(shù)，因此設備成本高昂，并且還會帶來大量的處理要求，同時可能給人們帶來極大的隱私侵犯困擾。除此以外，不管是基于檢測框的還是基于密度圖回歸的方式，在遇到嚴重遮擋情況時，性能都會大打折扣。因此，這些傳統(tǒng)基于視覺的方法并不適用于一些室內(nèi)場所。

針對上述問題，本文采用WiFi的信道狀態(tài)信息(Channel State Information，CSI)來進行室內(nèi)人群計數(shù)。一方面，目前WiFi網(wǎng)絡非常普遍，許多室內(nèi)環(huán)境下為CSI應用提供了無所不在的信號條件；另一方面，基于CSI方法可避免隱私問題，且由于其良好的穿透性還可以解決圖像采集中普遍存在的遮擋問題。目前，CSI已經(jīng)被廣泛應用于人體行為感知領域中，包括手勢識別[9]、姿態(tài)識別[10]、人體定位[11]、呼吸檢測[12]等，因此其可行性已經(jīng)被證實。例如，黨小超等[13]將CSI特征和信號接收強度指示(Received Signal Strength Indication，RSSI)特征融合用于室內(nèi)定位的研究，利用KNN算法在復雜和空曠兩種實驗室場景內(nèi)均取得了超過70%的定位精度。

在基于無線信號的人群計數(shù)方面，Simone等[14]提出了一種基于CSI多普勒頻譜的人群計數(shù)方法，采用樸素貝葉斯分類方法，在兩個不同的房間內(nèi)準確率分別達到了73%和64%，精度較低。Sanctis等[15]采用奇異值提取CSI特征并進行了人數(shù)區(qū)間的五分類估計實驗，其平均準確率達到了84%。Xi等[16]通過獲取每個子載波的非零元素百分比(Percentage of non-zero Elements，PEM)作為特征進行人數(shù)推斷，在人數(shù)較少時有效突出了特征差異。進一步地，Zhou等[17]采用深度學習網(wǎng)絡模型來更好提取數(shù)據(jù)特征，在最多5人的會議室實驗中將準確率提升到了89%。

上述基于CSI的室內(nèi)人群計數(shù)方法，使用數(shù)值化統(tǒng)計特征向量作為輸入，雖然可以達到較高的準確率，但是相同情況下特征關聯(lián)性不明顯，不同情況下特征差異不夠直觀，需要訓練次數(shù)較多。為了解決這一問題，設計了將無線信號轉(zhuǎn)化為時序熱圖進行深度學習分類的人群計數(shù)方法，首先對CSI數(shù)據(jù)預處理后映射到時間序列熱圖圖像中，然后在圖像域采用CNN來提取高級特征并識別，從而進行相應人數(shù)估計。這種將CSI數(shù)據(jù)轉(zhuǎn)換為RGB熱圖再利用CNN網(wǎng)絡識別的方式在基于CSI的動作分類工作[18]中已經(jīng)被證明是可行的，并且相較于利用統(tǒng)計特征的處理方法，RGB熱圖的特征表達形式更利于人數(shù)特征觀察區(qū)分。此外，CNN網(wǎng)絡可以獲得同一類別圖像之間一定程度的相關性，相比于常用機器學習算法通常具有更優(yōu)良的識別性能，因此在圖像分類識別中更有優(yōu)勢。

本文后繼內(nèi)容安排如下:第一節(jié)詳細描述了系統(tǒng)的設計原理，主要包括數(shù)據(jù)預處理、熱圖轉(zhuǎn)換和網(wǎng)絡結(jié)構(gòu)設計三個部分；第二節(jié)介紹了實驗驗證環(huán)境和實驗步驟；第三節(jié)分析了靜態(tài)和動態(tài)兩個環(huán)境下的實驗結(jié)果，并和其他方法進行了比較；最后在第四節(jié)對本文工作進行了總結(jié)和展望。

1 系統(tǒng)原理及實現(xiàn)方法

傳統(tǒng)基于無線信號進行室內(nèi)人員定位的研究工作中通常是通過信號接收強度RSSI來實現(xiàn)[19]的。相比于RSSI，CSI受到環(huán)境的影響更小。圖1是一個CSI樣本上不同子載波隨時間的變化曲線，可以看出曲線較為平穩(wěn)，說明了CSI信號具有一定的穩(wěn)定性，因此本文選用CSI信息進行數(shù)據(jù)分析，從而提升人群計數(shù)的精確度。

圖1 CSI三維子載波樣本波形

所設計的室內(nèi)人群計數(shù)系統(tǒng)如圖2所示，分為數(shù)據(jù)采集、數(shù)據(jù)預處理、離線訓練生成模型和在線預測四個階段。在數(shù)據(jù)預處理階段，系統(tǒng)首先利用CSI數(shù)據(jù)采集平臺提取CSI信號，并進行濾波去噪和平滑處理，然后對處理后的CSI數(shù)據(jù)進行PCA降維。為了更好地提取特征以便區(qū)分不同情況，進一步將預處理后的CSI數(shù)據(jù)轉(zhuǎn)化為熱圖。在離線階段，系統(tǒng)根據(jù)CSI熱圖特征，利用設計的CNN網(wǎng)絡訓練獲得一個預測模型。在線階段利用訓練生成的預測模型對熱圖進行預測，最終獲得預測結(jié)果。

圖2 室內(nèi)人群計數(shù)系統(tǒng)

1.1 數(shù)據(jù)預處理

原始信號中的噪聲對于識別人數(shù)沒有意義，甚至會降低準確性。因此，盡可能多地消除噪聲以最小化其對CSI的影響非常重要。圖3中列出了一個原始信號樣本波形，不難發(fā)現(xiàn)原始波形存在許多毛刺。為此，系統(tǒng)首先使用巴特沃斯濾波器進行處理。低通濾波后的信號在極值處仍然存在一些毛刺，針對這一點，對濾波后的信號采用五點三次算法進一步平滑處理。

圖3 濾波和平滑前后對比曲線

圖3展示了原始信號和濾波平滑預處理后的對比曲線，可以看到，最終的波形消除了大量鋸齒，并且很好地保留了數(shù)據(jù)原來的變化情況。

系統(tǒng)采集到的CSI原始數(shù)據(jù)包含了3×3×30個子載波樣本，在同一數(shù)據(jù)中抽取不同樣本進行分析，結(jié)果如圖4所示，其中樣本序號表達為發(fā)射天線_接收天線_子載波序號。

圖4 不同子載波樣本波形

從圖4中可以看出這些樣本的波形相似度很高，可以推斷如果利用所有子載波樣本，會大大增加數(shù)據(jù)的冗余度，并且還將提高數(shù)據(jù)復雜度，影響數(shù)據(jù)處理時間。因此，需要對其進行分析，降低數(shù)據(jù)重復性，本文利用主成分分析法PCA降維提取出30個子載波樣本。

1.2 熱圖轉(zhuǎn)換

經(jīng)過預處理后的CSI信號具有30個子載波，這些子載波在每個時間點上都有一個對應的幅值，可以轉(zhuǎn)換為圖像上的一個像素值，因此熱圖是CSI信號在數(shù)據(jù)層面的另一種表現(xiàn)形式，CSI信號幅度對應于熱圖顏色。于是，首先將預處理后的CSI數(shù)據(jù)轉(zhuǎn)換為熱圖，然后再用一個滑動窗口在時間維度上對其進行分割，并設置窗口長度為50，以獲得多個樣本數(shù)據(jù)。CSI直接轉(zhuǎn)換的熱圖分辨率為1 192×1 282，包含了許多與特征不相關的無用區(qū)域，因此需要將每個熱圖進行再處理提取出主要特征區(qū)域，并且為了能夠輸入網(wǎng)絡將圖像統(tǒng)一至相同尺寸大小。最后，將轉(zhuǎn)換后的熱圖劃分為訓練集和測試集。圖5顯示了一個CSI信號數(shù)據(jù)樣本經(jīng)轉(zhuǎn)換后得到的熱圖。

圖5 CSI熱圖樣本

圖6顯示了不同情況時的轉(zhuǎn)換后的熱圖樣本差異性，可以看出無人、3人、5人相互之間差別較大，但相同人數(shù)時熱圖之間相似較大。因此，不同人數(shù)時熱圖之間存在一定差異性，而當人數(shù)相同時，熱圖之間存在一定相關性。

圖6 無人、3人及5人的熱圖樣本

1.3 網(wǎng)絡設計

卷積神經(jīng)網(wǎng)絡CNN是一種深度前饋神經(jīng)網(wǎng)絡，已成功應用于多個領域，尤其是在圖像識別與分類相關領域。CNN將局部感受野、權(quán)值共享以及時間或空間亞采樣這三種結(jié)構(gòu)思想結(jié)合起來，獲得了某種程度的位移、尺度、形狀的不變性，避免復雜的預處理等操作得到原始圖像的有效表征。

為了能夠快速訓練獲得預測模型，系統(tǒng)沒有選擇非常復雜的網(wǎng)絡結(jié)構(gòu)，而是設計了一個新的輕量型CNN網(wǎng)絡。因為過于復雜的CNN網(wǎng)絡有時難以優(yōu)化且容易陷入過擬合，而一些結(jié)構(gòu)較為簡潔的網(wǎng)絡模型在避免過擬合問題的同時，也能高效取得不錯的訓練和分類結(jié)果。系統(tǒng)設計的網(wǎng)絡結(jié)構(gòu)如圖7所示。在網(wǎng)絡中，激活函數(shù)對于神經(jīng)網(wǎng)絡模型學習和理解非常復雜的非線性函數(shù)非常重要，系統(tǒng)設計的網(wǎng)絡使用ReLU作為每一層的激活函數(shù)，并選擇softmax作為最終輸出層的激活函數(shù)。

圖7 熱圖處理的CNN網(wǎng)絡結(jié)構(gòu)

作為訓練中的一個重要組成部分，損失函數(shù)用于衡量實際人數(shù)與預測結(jié)果之間的差異。使用分類交叉熵作為損失函數(shù)，其定義為:

式中:s表示樣本類數(shù)量，yi表示每一類的預測分布概率，表示每一類的真實分布概率。交叉熵表示了真實概率分布和預測概率分布之間的差異性，其值越小表示模型預測效果越好。通過使用均方根優(yōu)化器最小化損失函數(shù)的值，更新權(quán)重直到損失函數(shù)收斂。

2 實驗設計

為了模擬人員位置相對固定的辦公環(huán)境和走動較為頻繁的商業(yè)環(huán)境，實驗設計了兩種不同的場景，分別是一個相對靜態(tài)的教室和一個動態(tài)的會議室，并在其中進行數(shù)據(jù)采集和結(jié)果預測。實驗場景如圖8所示。

圖8 實驗場景

在實驗中，使用兩臺配備了Ubuntu操作系統(tǒng)和英特爾5300網(wǎng)卡，并安裝了CSI Tool[20]的筆記本電腦，組成一對發(fā)射器(TX)和接收器(RX)，并且都外接了三根天線便于增強信號。

在一個6 m×10 m的教室環(huán)境內(nèi)，發(fā)射器和接收器之間的距離是8 m，進行了最多9人的實驗。參與者坐在座位上或站著，每次收集數(shù)據(jù)時，其位置都是固定的，并且沒有非常明顯的行為動作。在另一個9 m×9 m的會議室環(huán)境內(nèi)，實驗設置發(fā)射器和接收器之間的距離為6 m，并允許參與者在發(fā)射器和接收器之間隨意走動。兩個實驗場景下的相關參數(shù)如表1所示。

表1 實驗場景相關參數(shù)

3 實驗結(jié)果分析

在進行實驗之前，首先分別對兩個環(huán)境內(nèi)采集的數(shù)據(jù)隨機劃分獲得訓練集和測試集，并在訓練集上訓練獲得預測模型。以教室環(huán)境下為例，圖9顯示了該環(huán)境下的模型訓練損失過程，系統(tǒng)設計的網(wǎng)絡模型的損失隨著訓練次數(shù)的遞增開始下降并最終收斂趨于穩(wěn)定。

圖9 教室環(huán)境下模型訓練損失

3.1 實驗預測結(jié)果

圖10展示了在靜態(tài)環(huán)境下的實驗預測結(jié)果，其中橫坐標代表真實人數(shù)，縱坐標代表預測數(shù)量，每種人數(shù)情況下測試樣本各50個，實驗平均準確率達到了98.8%。

圖10 靜態(tài)環(huán)境下實驗結(jié)果

為了進一步驗證本文系統(tǒng)的有效性，實驗考慮當環(huán)境中有人員運動等干擾情況下，系統(tǒng)是否還能對室內(nèi)人數(shù)進行準確的估計。在另一個會議室場景內(nèi)，允許室內(nèi)人員在天線覆蓋范圍內(nèi)隨意活動，實驗采集了室內(nèi)人數(shù)最多為5人和無人情況下的CSI數(shù)據(jù)，然后進行數(shù)據(jù)分析和人數(shù)估計。實驗結(jié)果如圖11所示，可以看到在有人員活動的情況下，雖然預測精度有了明顯下降，部分情況下跌至72%，但整體上仍然能達到89.3%，尤其是在無人、2個人和5個人情況下其估計準確度達到了96%以上。

圖11 動態(tài)環(huán)境下實驗結(jié)果

兩個實驗表明系統(tǒng)所采用的方法在靜態(tài)和動態(tài)環(huán)境下都可以取得了不錯的效果。雖然系統(tǒng)方法無法完全避免人員活動帶來的影響，但仍然表現(xiàn)出了一定的環(huán)境抗干擾能力。

3.2 與機器學習算法的對比

為了顯示本文算法的良好性能，在兩個環(huán)境下使用機器學習算法處理信號統(tǒng)計特征來獲得預測結(jié)果，以作為對比。具體來說，選擇了均值(mean)、標準差(std)、均方根(rms)和極差(range)這四種常用的統(tǒng)計特征進行不同方式的結(jié)合，除此以外還選擇了PEM[16]特征，并分別使用機器學習KNN算法和SVM算法處理，對預測結(jié)果準確率進行計算。在兩個環(huán)境下的分類預測平均準確率結(jié)果分別如圖12和圖13所示。

圖12 靜態(tài)環(huán)境下兩種機器學習算法實驗結(jié)果

圖13 動態(tài)環(huán)境下兩種機器學習算法實驗結(jié)果

從以上預測結(jié)果可以看出，融合了均值、標準差、均方根和極差的特征選擇方式在KNN和SVM兩種機器學習算法上都取得了最高的準確率，并且與之前一致。相較于靜態(tài)環(huán)境，由于動態(tài)環(huán)境下的人體位置和動作等因素都會影響數(shù)據(jù)采集，因此準確率都有一定程度的下降。

本文所提的算法同上述KNN與SVM兩種機器學習算法在兩個環(huán)境下的對比結(jié)果如表2所示。結(jié)果表明，本文算法均優(yōu)于其他兩種機器學習算法的預測性能，并且在教室靜態(tài)環(huán)境下和其中結(jié)果最好的方法相比，準確率提升了4.5%，而在會議室動態(tài)環(huán)境下則提升了2.7%。

表2 教室靜態(tài)和會議室動態(tài)環(huán)境下準確度對比

兩個環(huán)境下的對比結(jié)果都證明了本文提出算法的有效性，即通過將CSI數(shù)據(jù)轉(zhuǎn)化為熱圖并采用CNN網(wǎng)絡進行特征提取的方法可以有效提升人數(shù)預測準確率。所提方法將幅值轉(zhuǎn)化為像素值以實現(xiàn)從CSI數(shù)據(jù)到熱圖的映射，從圖像表達上有效增大了不同人數(shù)情況下特征之間的差異性，然后通過使用CNN網(wǎng)絡進行圖像特征提取識別從而實現(xiàn)人數(shù)的準確估計，因此具有良好的性能。

4 總結(jié)

本文詳細介紹了基于信道狀態(tài)信息CSI的室內(nèi)人群計數(shù)方法。首先，建立了室內(nèi)環(huán)境下基于CSI的人員計數(shù)實驗平臺進行數(shù)據(jù)采集，并通過巴特沃斯低通濾波器對原始CSI數(shù)據(jù)進行濾波，在進行平滑處理后利用PCA進行數(shù)據(jù)降維，從而降低計算復雜度。然后，將預處理好的CSI數(shù)據(jù)映射成熱圖，利用滑動窗口分段截取，并設計了一個卷積神經(jīng)網(wǎng)絡基于熱圖進行訓練以最終獲得一個預測模型，實現(xiàn)了不同情況下的人數(shù)識別。實驗分別在兩個不同的環(huán)境中進行，最終在靜態(tài)的環(huán)境下準確率能夠達到99%，而在動態(tài)干擾環(huán)境下也能獲得89%的準確率，均高于基于機器學習結(jié)合輸入統(tǒng)計特征向量進行預測的準確率，證明了本文方法的有效性。

在未來的工作中，還將研究如何將模型更好地應用于其他不同環(huán)境，目的是提升系統(tǒng)魯棒性和抗干擾能力。除了實現(xiàn)室內(nèi)人數(shù)估計外，如何利用更多信息來更細粒度描述室內(nèi)人員活動狀態(tài)，比如位置信息和動作姿態(tài)估計也是下一步的研究目標。