基于屋頂二值紅外傳感器網絡的人體定位和行為識別系統設計

高蓮弟,陶 帥,季長清,王寶鳳,汪祖民

(大連大學 信息工程學院，遼寧 大連 116622)

基于屋頂二值紅外傳感器網絡的人體定位和行為識別系統設計

高蓮弟,陶 帥,季長清,王寶鳳,汪祖民

(大連大學 信息工程學院，遼寧 大連 116622)

為了解決個人隱私的保護、受光照條件和障礙物等因素的影響，設計了一種基于屋頂二值紅外傳感器網絡的人體行為識別系統；系統采用STM32芯片和ZigBee協調器建立ZigBee網絡；當實驗者在安裝在屋頂的20個互連的AMN31111紅外傳感器下面做出一系列行為時，傳感器對其進行二值數據采集，ZigBee協調器將數據通過串口發送到PC機上實時動態顯示，通過Keil5系統軟件對采集的二值數據以txt文本格式存儲；提出了像素值法對人體進行定位和BP神經網絡算法在模擬的居家環境中對7種不同人物行為進行識別；實驗結果表明：該系統實現了人體多種行為的識別，其識別率為84.7%，4名實驗者得到平均識別精度相比固定在居家電器傳感器設備要高4.7%左右，并且該系統采集精度高、性能穩定、可靠性高、成本低、功耗低，解決了一些目前人體行為識別監測系統存在的問題。

紅外傳感器；STM32；像素值；人體定位；BP神經網絡；行為識別

0 引言

近年來，在人物行為分析研究領域中，為了滿足用戶在日常生活中不斷增多的個性化需求，室內環境中人物定位與行為識別得到了廣泛的研究與重視。然而，在居家生活中，不論老年人或年輕人，長時間在攝像頭的監視下會產生不適感，個人的隱私得不到有效保護，而且其監測效果還受光照條件和障礙物的影響，因此傳統的數字圖像/視頻處理[1]研究方法不適用于室內居家環境。而基于屋頂紅外傳感器的傳感網絡則具備隱私保護、無生活打擾等優勢。并且將紅外傳感器安裝在屋頂能夠很好地檢測到室內的所有區域，不會出現檢測盲區。

為了減少噪音，本研究采用二值紅外傳感器對人物的行為進行分析,與可穿戴加速度傳感器研究方法相比不但不需要用戶的任何配合，而且具有數據量小，運算速度快以及不受光照條件影響等優勢。

本論文基于無接觸式傳感網絡的行為分析方法會減少對用戶的打擾，并采用像素值法進行人體定位和BP神經網絡分類方法進行人體行為識別，實驗結果表明采用該方法的識別精確率較高。

1 系統總體設計

系統主要由20個紅外傳感器節點、ZigBee節點、ZigBee協調器、STM32處理器組成，其總體結構圖如圖1所示。

系統的控制器主要由STM32處理器、ZigBee協調器、LED指示燈、存儲器組成，其中STM32處理器是系統的核心。其中STM32處理器主要實現與存儲器、ZigBee協調器、PC機的數據傳輸，并對接收到的數據進行相應的預處理操作。

紅外傳感器的主要功能是對模擬室內環境人的數據進行感知和采集。通過組成的ZigBee網絡將數據發送至ZigBee協調器。

經STM32處理器預處理后的數據通過串口發送到PC機中的Keil 5系統軟件進行顯示，將生成的多維二值0～1數據txt文本文檔通過像素值定位法和BP神經網絡分類法，實現對人的日常行為的定位和識別，并得出比較精準的設計指標即人體行為識別準確率。虛線處表示也可以根據位置關系粗略的估計人的日常行為。例如，我們可以根據實驗者在冰箱附近的位置，大致估計出該實驗者目前的行為是從冰箱中拿飲料或其他東西。

圖1 系統總體結構圖

2 系統硬件設計

2.1 紅外傳感器模塊設計

被動熱紅外傳感器又稱為紅外動作傳感器，可檢測到與周圍環境溫度不同人的動作引起的溫度變化[2]。傳感器模塊使用了AMN3111感應探頭。它包含16個鏡頭，用來采集照射至熱紅外感應探頭表面4個象限的紅外線。每個傳感器模塊在每一個時間幀獲得一個二值響應。

傳感器陣列具有以下特性：移動中的人會同時引起多個傳感器模塊處于活躍狀態，信號輸出1，LED指示燈變亮；相反，當人處于靜止或者較小的輕微動作時，傳感器模塊均處于不活躍狀態，信號輸出0，LED指示燈不變亮[3]。紅外傳感器模塊電路圖如圖2所示。

圖2 紅外傳感器模塊電路

在模擬的居家環境中，20個4*5傳感器模塊均勻的安裝于高2.5米，長和寬為300 cm*375 cm的屋頂，監測范圍覆蓋房間的所有區域，相鄰兩個傳感器模塊之間的距離為75 cm，每個紅外傳感器的檢測范圍側視圖如圖3所示，模擬居家環境中的傳感器陣列分布圖如圖4所示。

圖3 紅外傳感器檢測范圍的側視圖

圖4 模擬居家環境中傳感器陣列分布

2.2 協調器節點硬件設計

ZigBee是基于IEEE802.15.4標準，一般運行在2.4 GHZ的頻段上的無線網絡通信技術。 其特點是近距離、低速率、低功耗、安全性和可靠性較高。和傳感器結合就能組建ZigBee無線傳感器網絡，實現一點對多點，兩點間的通信。ZigBee 專用于短距離通信，有效覆蓋范圍在10～100 m 左右，通過適當調整發射功率，基本上可以滿足一般的居家或辦公環境的應用[4]。

ZigBee網絡節點按功能分為三大類：協調器節點、路由器節點、終端節點。由于本系統組網相對簡單，數據的傳輸量不大，因此采用只含協調器和終端節點的星型拓撲結構。終端節點不需要協調器發送命令，直接定時發送采集數據，以降低協調器的網絡負荷。

協調器節點主要任務是建立ZigBee網絡，實現無線采集終端節點的數據的收發和處理，并通過RS-232串口與PC機進行數據通信，將數據發送到PC機顯示。

協調器節點主要由STM32 ZigBee無線收發模塊、RS-232串口電路、PC機以及電源模塊組成，其中STM32模塊是協調器節點的核心部分，承擔著接收和存儲無線采集終端節點發送來數據的任務，并且能夠對數據進行分析處理。為了使協調器節點能夠實現STM32與PC之間的通信，采用RS-232通信接口，通過RS-232串口電路將采集的數據傳給PC機。由于RS232規定的高低電平標準與STM32的TTL電平不一致，需要MAX3232芯片進行電平轉換[4]。

3 系統軟件設計

系統的軟件設計主要包括STM32處理器程序、ZigBee協調器程序、紅外傳感器終端節點程序。其中紅外傳感器主要負責數據的發送，因此，本文不作詳細介紹。

3.1 STM32控制器程序設計

STM32是控制器的核心[5]，通過ZigBee協調器將紅外傳感器采集到的二值數據發送給STM32處理器，實現系統的初始化(包括串口初始化、按鍵初始化、定時器初始化)、數據處理功能，根據具體情況調節合適的采樣頻率，將采集到的數據掃描并通過串口將處理的數據發送到PC機上。使用keil 5軟件集成開發環境，可視化采集數據對數據進行相應的預處理操作。定時時間到了以后，就循環繼續檢測是否有數據傳送。其流程圖如圖5所示。

圖5 控制器流程圖

3.2 協調器節點軟件設計

協調器節點主要負責組建與維護一個ZigBee網絡，匯聚采集的數據，分析處理數據并通過串口發送數據至PC機。其軟件設計流程如圖6所示。

協調器節點上電后，首先進行信道掃描，選擇一個空閑的信道來創建一個網絡，規定相應的網絡參數。協調器啟動后，時刻監聽無線信號，如果收到終端節點加入網絡申請，則根據請求信息做出是否允許加入網絡的判斷。如果允許加入，協調器就給終端節點分配一個網絡地址作為網絡中唯一的身份標識。如果監聽到無線采集終端節點發送的紅外傳感器二值數據信息，協調器接收數據信息，通過RS-232串口電路發送到PC機顯示。

圖6 協調器節點流程圖

4 實驗與結果分析

在實驗中，實驗者(4名學生)對7種日常生活行為進行模擬：行走、看電視、躺在沙發上、玩電腦、從冰箱里拿飲料、掃地、整理桌子。

4.1 二值數據采集

紅外傳感器采集人體的行為數據，ZigBee協調器將數據通過串口發送到PC機上實時動態顯示，通過Keil 5系統軟件對采集的二值數據響應存儲為txt文本格式的操作。為后續的人物定位和行為分析提供了基礎。

4.2 基于像素值的人體定位

基于傳感網絡的安裝方式以及分布特點，我們將其等同為分辨率較低(20個像素)、灰度級較小(二級灰度)的“頂視攝像機”，且將其所采集數據等同為像素及灰度級為0或1的頂視圖像數據。為了提高像素的灰度級，每個像素點的二值灰度在連續時間內的平均值有效地使灰度級延伸到了[0,1]連續區間內。利用不同灰度的像素點的分布特征，可以對被監測用戶進行準確的定位[6]。二值數據的優化方法如下：

表達式si,j(t),(i=1,…,4j=1,…,5)表示在時刻t位于位置(i,j)的傳感器的活躍狀態(0或1)。采樣頻率設置為H(Hz)，定義t>0時刻該像素點的像素值為Pi,j(t)

(1)

公式(1)表明，像素值等于在t時刻前后共一秒時間內的二值響應的均值。因此，二值灰度圖像被擴展為[0,1]內連續灰度級的圖像。從公式我們可以知道Pi,j(t)∈[0,1]。

假設在t時刻共有N(<=20)個活躍傳感器，它們的位置由(i,j)表示，令它們的像素值為Pi,j(t),(i=1,…,4，j=1,…,5)，在室內只有一位實驗者的前提下，利用加權平均法可估計出在t時刻實驗者的位置，如公式(2)所示。

(2)

為了驗證公式(2)所示定位的方法可行性，我們進行了相關的實驗。4名實驗者(每個實驗者單獨進行)在居家環境中被指定做出7種日常生活行為(行走、看電視、躺在沙發上、掃地、整理桌子、玩電腦、從冰箱里拿飲料)，共持續5分鐘。傳感網絡采樣頻率設置為H=20 Hz，采集傳感器活躍數據si,j(t)。實驗者日常行為的部分灰度圖像如圖8所示。

在5分鐘之內選取10張代表性的圖像數據(t=1,…,t=10)。其中，灰度圖像的亮暗程度表示其像素值大小，白色圓圈表示在t時刻估根據公式(2)算出的實驗者的位置[7]。

從圖7中可以粗略的得到實驗者的移動軌跡，通過短時間內對二值活躍數據的累積，擴展了傳感器活躍程度的表達范圍。通過對活躍傳感器位置信息的加權平均，提高了移動人物的空間分辨率。

圖7 行為序列灰度圖像

4.3 基于BP神經網絡行為識別

BP網絡是一種按誤差逆向傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小[8]。

圖8 日常生活行為重疊區域

圖8為日常生活行為重疊的區域。在不同的時間，在相同的區域做不同的行為，使用BP神經網絡分類時，我們對重疊區域(易混淆)的行為進行有效識別，比如行走和掃地，兩者占有相似的區域，但考慮到兩者的速度不同，可以大致區分兩者的行為；躺在沙發上和坐在沙發上看電視兩個不同行為也占有相似的區域，會考慮兩者在行為開始時引起活躍傳感器的個數，由灰度圖像并通過實驗可以得知后者少與前者。

同時，在實驗時，模擬居家環境裝有攝像頭，記錄實驗者的真實行為，為BP神經網絡算法的訓練提供真實值，即作參考值計算識別精度。

在MATLAB神經網絡工具箱環境中，讀取存儲的txt二值文本數據，對4組實驗者采集的數據選取7類樣本集，其中每一類樣本集分別有300組數據樣本作為訓練集，100組數據樣本作為測試集。確定合適的訓練函數、訓練步數、網絡誤差、網絡的目標輸出，對輸入樣本進行多次10折交叉驗證，當誤差達到預設的要求或訓練達到預設的學習步數時，停止訓練。最終，對每次預測的精確度取平均值即得到最終的行為識別率為87.4%。

文獻[9]中，傳感器放置在門、微波爐、洗衣機等固定位置上，用來監測人的日常行為，但是該系統不能提供用戶當時的位置和運動軌跡。

基于屋頂紅外傳感器和文獻[9]傳感器固定在居家電器上的人體行為識別的精確度的對比圖如圖9所示。

圖9 識別精度對比圖

總體上講，隨著采樣樣本個數的增加，兩者的識別精度都會隨之提高，但紅外傳感器的識別精度比固定在居家電器傳感器[10]的識別精度高4.7%左右。

5 結論

基于熱釋電紅外傳感器網絡的人體行為識別系統，我們提出了基于二值行為數據的像素值定位法對人體進行定位。利用BP神經網絡分類算法，對人體進行多行為的識別。通過實驗我們可以得到這樣的結論,采用該方法的行為識別準確精度比固定在居家電器傳感器設備高4.7%左右。該系統保護了個人隱私，降低了對人們日常生活的打擾。采用二值法增加了采樣率和減少了噪音和計算量，提高了運算速度。另外，紅外傳感器不像攝像機一樣受光照條件和障礙物的約束，其檢測范圍覆蓋了整個模擬居家環境，沒有檢測盲區的存在。同時基于紅外傳感器人體行為識別系統成本低，易于安裝。

[1] Li G, Lin W, Zhang S, et al. A New Network-Based Algorithm for Human Group Activity Recognition in Videos[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2014,24(5):826-841.

[2] 孫 華, 李 揚. 熱釋電紅外傳感器原理及其應用[J]. 內江科技, 2010,(12):116-116.

[3] 石琳琦. 基于熱釋電紅外傳感器的測量技術[J]. 山東大學, 2013,(11):162 - 165.

[4] 王小強, 歐陽駿, 黃寧淋. ZigBee無線傳感器網絡設計與實現[M]. 北京：化工業出版社, 2012,5:3-8.

[5] 劉 軍. 例說STM32[M]. 北京:北京航空航天大學出版社, 2014.

[6] Tao S, Kudo M, Nonaka H. Camera view usage of binary infrared sensors for activity recognition[A]. Proceeding of the 21st International Conference on Pattern Recognition(ICPR2012)[C].2012:1759-1762.

[7] Tao S, Kudo M, Nonaka H. Privacy-preserved behavior analysis and fall detection by an infrared ceiling sensor network[J]. Sensors, 2011, 12(12):16920-16936.

[8] 劉鯖潔, 陳桂明, 劉小方, 等. BP神經網絡權重和閾值初始化方法研究[J]. 西南師范大學學報(自然科學版), 2010,35(6):137-141.[9] Sawai K, Yoshida M. Algorithm to detect abnormal states of elderly persons for home monitoring[J]. Systems & Computers in Japan, 2007,38(6):34-42.

[10] 茍 濤. 基于可穿戴式三軸加速度傳感器的人體行為識別[J]. 自動化應用, 2015(12):61-62.

Design for Human Body Localization and Activities Recognition System Based on Binary Ceiling Infrared Sensor Network

Gao Liandi, Tao Shuai, Ji Changqing1, Wang Baofeng, Wang Zumin

(College of Information Engineering, Dalian University, Dalian 116622, China)

To preserve individual privacy and to avoid the effects of light condition and obstacles, this paper designed a human activities recognition system based on binary ceiling infrared sensor network. This system uses STM32 and ZigBee coordinator to build a ZigBee network. When a target does some activities under the interconnection of twenty AMN31111 infrared sensors, binary values will be collected by sensors. Then ZigBee coordinator will send this data to PC real time dynamics through serial port and these values will be stored in txt format by the software of Keil 5. We proposed the method of pixel value to estimate the locations of the target. In a home environment, we used BP neural network algorithm to recognize 7 different activities of a target. The experimental results showed that this system achieved a performance of a single target’s activities recognition rate of 84.7%. The average recognition rate obtained by 4 targets was about 4.7% higher than those sensor devices attached to home appliances. The system is with high precision, stable performance, high reliability, low cost and low power consumption. So it solves some current existing problems in human behavior recognition system.

infrared sensors; STM32; pixel value; human localization; BP neural network; activities recognition

2016-07-20；

2016-08-31。

國家自然科學基金項目(61501076)。

高蓮弟(1990-)，女，山東臨沂人，碩士研究生，主要從事智慧醫療與健康方向的研究。

汪祖民(1975-)，男，河南信陽人，教授，碩士研究生導師，主要從事智慧醫療與健康、機械故障診斷與預警、物聯網方技術開發與應用的研究。

1671-4598(2017)01-0163-04DOI：10.16526/j.cnki.11-4762/tp

TP

A