融合熱釋電紅外傳感器與雙目系統室內人體檢測追蹤方法的研究

石強，唐軍

（貴州大學電氣工程學院，貴州 貴陽 550025）

0 引言

室內人體檢測和追蹤方法的研究對于人機交互，智能監控，虛擬現實和行人重檢測等領域有著重大的意義[1-3]。目前常用的人體檢測和追蹤方法有兩種，一種是基于紅外信息，另外一種是基于視頻信息。文獻[4]提出了在復雜背景下利用紅外圖像序列進行人體檢測追蹤的方法，雖然在實時性和準確性取得了一定成功，但是當人體遮擋較多的時候，導致成像異常的時候，將無法有效的檢測和追蹤人體。文獻[5]提出了利用單目攝像頭進行人體檢測和追蹤的方法，但是該方法的算法復雜度比較高，對一些場景缺乏分辨力，并且缺乏深度信息。文獻[6]提出了利用融合熱釋電紅外傳感器和視頻監控系統的人體檢測和追蹤方法，但是他的融合算法較為復雜，實時性并不高。綜上所述，人體檢測和追蹤方法的主要缺陷是在于實時性和降低虛警率上，因此本文為了改進上述缺陷，融合熱釋電紅外傳感器和雙目視覺系統，設計出一種實時性較好和虛警率較低的人體檢測和追蹤方法。

1 系統總體框架

系統主要由兩個子系統組成，一個是由熱釋電傳感器網絡組成的人體檢測和追蹤部分，另外一個是雙目視覺監控設備組成的人體檢測追蹤部分，PC機為顯示終端。熱釋電傳感器網絡由帶有菲涅爾透鏡的熱釋電傳感器，信號放大電路，信號處理電路，節點通信網絡等組成。而雙目視覺監控設備主要由雙目攝像頭和處理器構成。圖1為系統總體設計框圖。

圖1 系統設計框圖Fig.1 System configuration block diagram

2 人體檢測追蹤模型設計

2.1 熱釋電紅外傳感器人體檢測追蹤模式

采集節點主要由16個熱釋電紅外傳感器，信號處理電路，信號放大電路，電池保護充電電路，以及無線收發模塊組成，其組成如圖2所示：

圖2 采集節點組成框圖Fig.2 Block diagram of collection node

2.1.2 信號處理電路

采集節點通過供電模塊提供+5V 電壓，并通過TPS79301為采集節點的各個部分供電。當人體出現在檢測區域時，PIR 傳感器負責檢測并采集目標人體的紅外信號，之后被轉變成電信號，然后通過兩級放大電路將電壓信號放大[4-5,7-9,12]。其電路圖如圖3所示：

圖3 信號處理電路Fig.3 Signal processing circuit

2.1.3 AD轉換電路

LTC1867 轉換芯片及周圍電阻、電容等構成了AD轉換電路。單個采集節點需16 個數據通道用于信號的模數轉換，但是LTC1867型號的 AD 芯片只有有8個通道，因此電路中使用兩個 LTC1867 構成16個通道，同時為有效采集16個PIR 傳感器輸出的信號，需將 LTC1867 設置為單端輸入模式，即LTC1867 的CH0至CH7通道均作為信號的輸入通道，其電路圖如圖4所示[10]。

圖4 AD轉換電路Fig.4 AD converter circuit

2.1.4 控制電路的設計

牧兒和草兒都不言語，因為彼此的心早已有了默契。此時，他們沉默著，望著天，望著山，望著歡快吃草的羊兒，感受著陽光的撫摸，感受著這美好的一切，在心里產生對明天的美好向往。

節點的處理器采用Stm32F103VCT6，控制電路的主要功能包括對數據進行拆包和打包，以及控制無線模塊NRF24L01進行工作[6,11,13-15]。控制電路如圖5所示：

圖5 控制電路Fig.5 Control circuit

2.1.5 無線模塊的設計

采集節點上的NRF24L01具備發送數據功能，他的主要任務是將STM32微控制器輸出的數據包按照特定協議發送給網關節點上的NRF24L01無線模塊。NRF24L01的電路圖如圖6所示。

圖6 無線模塊Fig.6 Wireless module

2.2 熱釋電人體檢測和追蹤算法概述

采集節點通過 14 個 PIR 傳感器模塊實現人體紅外信號的采集，如圖7所示，其探測范圍可達70°，且設計中采用將采集結點置于區域拐角處的設計方式，使得系統的有效探測范圍增大，減少了虛警點，有助于提高跟蹤精度。

圖7 熱釋電紅外采集節點構成圖Fig.7 Structure of thermal emission infrared acquisition node

利用熱釋電紅外傳感器進行人體檢測和追蹤的首先要對區域分割，然后不同的區域8個傳感器由于接收信號的強弱最終輸出不同的0，1值，這些0，1組合完成對劃分區域的編碼。但是，一個采集節點是無法完成對人體的追蹤定位的，所以本文使用了四個采集節點，然后組合四個采集節點獲取的編碼值實驗定位。假定采集點1的坐標為（x1, y1）,采集點2的坐標（x2, y2），兩者相距d,根據采集點1和采集點2的編碼值可以求出兩者相交的位置。

2.3 基于機器視覺人體檢測和追蹤模型

雙目攝像頭放置于距離地面250cm的房間正中央位置，人體目標的檢測高度為50～190cm，對雙目攝像頭進行標定以后，采用基于Hough變換頭頂圓特征的雙目立體與匹配的算法進行人體檢測和追蹤。圖8為本次實驗平臺所用的雙目攝像頭。

圖8 雙目攝像頭Fig.8 Binocular camera

3 人體檢測和追蹤實時數據融合算法

3.1 算法整體介紹

單一的熱釋電紅外傳感器網絡對人體檢測和追蹤由于受到噪聲的影響，其結果可能存在很大的誤差。因此本文采用基于Hough變換頭頂圓特征的雙目立體與匹配的算法在熱釋電紅外傳感器網絡人體檢測的算法基礎上進行再檢測和再追蹤定位，最終使用深度學習的算法對兩次結果進行融合修正，最終獲得人體檢測和追蹤的結果。

算法信息流程圖如圖9所示：

圖9 算法信息流程圖Fig.9 Algorithm information flow chart.

3.2 融合算法

雙目攝像頭的人體檢測和定位模式是以熱釋電紅外傳感器網絡采集的定位數據為基礎的，因此兩者的數據相差并不大，為了降低人體檢測和追蹤的誤差，本文采用基于新型支持度函數的人體檢測和追蹤的冪均方數據融合方式進行數據融合。首先對熱釋電傳感器網絡采集的人體定位位置（xr, yr）和雙目攝像頭系統采集的位置（xk,yk）進行一致性檢測和三次指數平滑，從而獲取人體在室內的位置最佳估計 xV，然后利用PC機對處理好的數據采用冪均方算子完成最終的數據融合，各傳感器的最優權重Wi根據傳感器數據之間的支持程度由支持度函數給出。假定兩種人體檢測和追蹤模式的中的一種在時間人測得人體位置為，三次指數平滑遞推公式為：

支持度函數sup(a,b)表示數據b對a的支持程度，也表示a和b的相似程度[12]。他必須滿足3個條件：

1）sup(a,b)∈ [0, 1]

2）sup(a,b)=sup(b,a)

3）如果 |a-b|＜|x-y|，那么 sup(a,b)＞sup(x,y)

基于對支持度函數的分析，系統的支持度函數采用熊近軍的新型支持度函數。

式中|a-b|代表兩種采集方式的人體位置數據絕對值之差。

設定在t時刻，熱釋電傳感器網絡和雙目攝像頭采集的人體位置信息分別為Qi(t)和Qj(t)，代入 s u pnew( a , b ) ，可以獲得兩者之間的支持度 λ0。根據實驗，設定λ0∈ (η , ψ ) ，一旦 λ0不在這個區間，則判定該值無效，因此在融合以前要進行一致性檢查，若不一致，則需要剔除無效值。將 λ0代入冪均方算子,兩種融合方式的權值 Wi= 1 + λ0，可以最終得到我們融合后的人體位置。

4 實驗及結果

本文在實驗室平臺布置了四個圖3所示的熱釋電紅外傳感器采集節點，在實驗室的正中央距離地面H=250cm的地方布置了可360度旋轉的的雙目攝像頭。實驗平臺如圖10示：

實驗員在不同的位置行走，然后采集融合算法得到的位置，單獨的熱釋電紅外傳感器的位置，以及實際人體所處的位置，然后將采集的數據繪制成軌跡圖。當實驗員沿著房間對角線走時，采集的三種所得到的人體位置圖如圖11所示，圖中紅線代表人體實際所在位置，藍線是代表利用單純的熱釋電紅外傳感器方法獲得人體位置，綠線代表的是利用本文方法獲得的人體位置。

圖10 實驗平臺Fig.10 Experimental platform

圖11 實驗結果圖Fig.11 Experimental results

當人沿著房間隨機行走時，得到的軌跡圖如圖12：

實驗結果顯示，單獨的紅外熱釋電傳感器進行人體檢測和追蹤時，在距離傳感器較近的位置，測定誤差較小，當距離較大時，誤差會影響到定位精度，而融合算法卻大致接近真實位置，可以看出，融合了雙目視覺和熱釋電傳感器網絡的算法對人體檢測和追蹤精度都有了一定的提升。

圖12 實驗結果圖Fig.12 Experimental results

5 結論

本文在傳統的熱釋電紅外傳感器人體檢測和追蹤的方法的基礎上，引進融合了雙目攝像頭行人檢測的方法，降低了傳統熱釋電紅外傳感器人體檢測和追蹤在由遮擋物或者軌跡相近時存在的誤差，通過搭建實驗平臺和仿真證明了該方法是行之有效的。雖然該方法也存在一些缺陷，比如該方法的成本較高，并且算法處理速度有待改進。但是對室內人體檢測和追蹤方法的研究有助于智能監控，以及人工智能的發展。

參考文獻

[1] 沈航, 龐觀士, 林詩美. 物聯網工控平臺現場級無線傳感器網絡節點的研究和設計[J]. 新型工業化, 2016, 6(10): 94-98.SHEN Hang, PANG Guan-shi, LIN Shi-mei.Study and Design on IOT Industrial Platform at the Field Level Wireless Sensor Network Nodes[J]. The Journal of New Industrialization, 2016, 6(10): 94-98.

[2] 劉維.基于雙目立體視覺的物體深度信息提取系統研究[D]. 長沙: 中南大學, 2009: 38-49.LIUWei.Research on object depth information extraction system based on binocular stereo vision[D]. Changsha：Central South University,2009: 38-49.

[3] 羅桂娥.雙目立體視覺深度感知與三維重建若干問題研究[D]. 長沙: 中南大學, 2012: 53-60.LUOGui-e. Research on the deep perception and three-dimensional reconstruction of binocular stereoscopic vision[D]. Changsha: Central South University,2012: 53-60.

[4] 尹宏鵬.基于計算機視覺的運動目標跟蹤算法研究[D].重慶: 重慶大學, 2009: 37-50.YINHong-peng. Research on motion target tracking algorithm based on computer vision[D]. Chongqing: Chongqing University,2009: 37-50.

[5] 王曉滿.監控系統的目標跟蹤算法的研究[D].黑龍江: 哈爾濱理工大學, 2010: 22-29.WANGXiao-man. Research on the target tracking algorithm of the monitoring system[D]. Heilongjiang: Harbin Institute of Technology,2010:22-29.

[6] GANG L, ZENG R, LING L. Moving Target Detection in Video Monitoring System[C]//Intelligent Control and Automation, 2006. WCICA 2006. The Sixth World Congress on. IEEE, 2006: 9778-9781.

[7] HAO Q, HU F, LU J. Distributed multiple human tracking with wireless binary pyroelectric infrared (PIR) sensor networks[C]//Sensors. IEEE,2010: 946-950.

[8] LU J, GONG J, HAO Q, et al. Space encoding based compressive multiple human tracking with distributed binary pyroelectric infrared sensor networks[C]//Multisensor Fusion and Integration for Intelligent Systems. IEEE, 2012: 180-185.

[9] MOINI A, BURGESS N. Automatic thresholding for change detection in digital video[J]. Proceedings of SPIE -The International Society for Optical Engineering, 2000, 4067(1): 133-142.

[10] 高學彬，張志強，葉世偉，等. 無線傳感器網絡中的被動式紅外傳感器模型研究[J]. 計算機應用，2007, 27(5): 1086-1088.GAOXue-bin, ZHANGZhi-qiang,YEShi-wei. Research on passive infrared sensor models in wireless sensor networks [J]. Computer applications, 2007, 27(5): 1086-1088.

[11] ZHAO M, SUN D, HE H. Hair-color modeling and head detection[C]//Intelligent Control and Automation, 2008. Wcica 2008. World Congress on. IEEE, 2008: 7773-7776.

[12] 王杰貴, 羅景青. 基于多目標多特征信息融合數據關聯的無源跟蹤方法[J]. 電子學報, 2004,32(6): 1013-1016.WANG Jie-gui,LUO Jing-qing. Passive tracking based on dataassociation with information fusion of multi-feature andmulti-target[J]. Acta Electronica Sinica,2004,32(6): 1013-1016.

[13] LIU X, LEUNG H, VALIN P, et al. Multisensor joint tracking and identification using particle filter and Dempster-Shafer fusion[C]//International Conference on Information Fusion. IEEE, 2012: 902-909.

[14] 郭榮華, 李曉, 李耀煒, 等. 一種基于編隊中心的目標跟蹤算法[J]．新型工業化, 2015, 5(4): 40-47.GUO Rong-hua, LI Xiao, LI Yao-wei, et al.A Center-based Formation Target Tracking Algorithm [J]. The Journal of New Industrialization,2015, 5(4): 40-47.

[15] SAID Y, ATRI M, TOURKI R. Human detection based on integral Histograms of Oriented Gradients and SVM[C]//International Conference on Communications, Computing and Control Applications. IEEE, 2011: 1-5.