基于機器人操作系統和kinect2的人體骨骼跟蹤系統

徐圣佳 范光宇

【摘 要】隨著信息技術的快速發展，移動機器人越來越受到各行各業的關注與重視，本文基于機器人操作系統（ROS）平臺，利用微軟公司的kinect2作為信息采集設備，對人體進行掃描，在kinect2獲取的信息基礎上，對被識別人體獲取的骨骼信息進行處理和計算。骨骼識別系統通過kinect2攝像機的骨骼跟蹤功能提取人體靜態骨骼信息，經過處理得到骨骼信息點，完成骨骼跟蹤，通過實際系統測試，本系統具有較好的人體骨骼識別和跟蹤效果。

【關鍵詞】機器人操作系統；kinect2；骨骼識別；骨骼跟蹤

隨著計算機技術的迅猛發展，機器人系統和人機交互已經逐漸受到人們的關注，同時也越來越從以計算機為中心逐步轉移到以人為中心。

深度圖像識別是機器人的主要技術，微軟公司的kinect2被廣泛應用于機器人的人體骨骼識別與跟蹤系統中。人體骨骼跟蹤技術可以讓kinect2去更好地捕捉人體的動作，并且可以識別身份問題。kinect2作為信息采集設備，對被識別人體獲取的深度圖像和骨骼信息進行識別。

一、基于kinect2人體骨骼跟蹤系統設計

人體骨骼識別系統的主要步驟如下：首先，骨骼識別系統通過kinect2攝像機的骨骼跟蹤功能提取人體靜態骨骼信息；然后，利用雙腿關節角度或3D運動人體輪廓描述步態特征；最后，綜合二者識別結果完成身份鑒定。

利用kinect2的人體骨骼識別，有助于識別來者的身份。可以讓系統記下每一個來的人，如果并非是與主人一起進人的其他骨架的擁有者在并未被主人授權之前妄圖進入房間的時候，系統會自動的發出警報。

本文人體骨骼跟蹤系統，主要以Ubuntu系統開源平臺作為基礎，配置ROS相關環境，分別使用Libfreenect驅動和Libfreenect2驅動完成對kinect2基本圖像顯示的支持，結合用于視覺感知與處理的標準接口OpenNI2.2和NiTE2.2完成基于kinect2的骨骼跟蹤。

二、基于kinect2人體骨骼跟蹤系統實現

（一）kinect2設備使用

kinect2是微軟公司開發的一款可實時獲取RGB色圖像和深度圖像的設備，它由紅外發射器、RGB彩色攝像頭、3D深度傳感器三部分組成，其中kinect2使用的是USB3.0接口。

（二）骨骼跟蹤系統設計

通過kinect2獲取的深度圖像中可得到各個骨架節點的三維坐標，這些節點組成一幅人體骨架結構圖。

系統主要通過以下步驟來實現：

（1）創建new nite：：UserTracker對象

（2）m_pUserTracker->create（&m;_device）

（3）開始跟蹤人體骨骼

m_pUserTracker->startSkeletonTracking（user.getId（））；

（4）開始檢測該人做的姿勢是不是（POSE_CROSSED_HANDS）；

（5）最后獲取人體骨骼坐標信息，主要包括15個骨骼點。

（三）骨骼跟蹤系統的信息類型和函數調用

（1）具體姿勢類型為enum nite：：PoseType：POSE_PSI和POSE_CROSSED_HANDS。

（2）骨骼的狀態，通過對獲取的骨骼跟蹤狀態，進行相關的處理。

（3）使用封裝好的底層人體跟蹤函數。

（4）SampleViewer類的初始化，獲取人體深度信息，實時跟蹤人體骨骼信息。

（5）回調函數Display（）函數的前半部分：主要是定位到人體深度圖像，并做像素轉換處理，顯示出來。

三、系統平臺技術應用

本文系統主要使用了ROS環境，以及Libfreenect2、OpenNI2.2、NiTE2.2。通過對kinect2采集的深度圖像信息進行背景相減法和幀差法處理可以獲得目標抓取點信息，利用基于工作空間的信息融合算法對骨骼末端進行匹配判斷，并利用剃度投影法進行運動學軌跡優化估計，獲得較好圖像點云匹配效果，效果如圖1所示。如圖1所示，在Kinect2獲取的圖像信息基礎上，通過對信息的二次處理匹配，可有效分析出人體骨骼信息，并對骨骼信息的移動進行跟蹤，實現較好的跟蹤效果。

四、結束語

本文通過kinect2設備和ROS開源系統，設計開發了基于骨骼識別的人體跟蹤系統，在程序設計過程中，通過獲取kinect2云圖，對骨骼信息進行二次處理和識別，并對骨骼移動進行跟蹤，系統有較好的骨骼跟蹤效果。

【參考文獻】

[1]黃開宏，楊興銳，曾志文，盧惠民，鄭志強，基于ROS戶外移動機器人軟件系統構建，機器人技術與應用，2013

[2]陳森鵬. 基于仿真平臺的智能機器人策略研究與實現. 信息系統工程. 2017年3期

[3]A Stanoev， S Filiposka， V In， L Kocarev， Cooperative method for wireless sensor network localization， Ad Hoc Networks， vol.40， April 2016， pp. 61-72

[4]丁成波，蔡家斌，劉文. 一種改進的多機器人角色變換方法研究. 組合機床與自動化加工技術. 2017年7期

[5]朱效洲，戶外環境下基于視覺的移動機器人可通行區域識別研究[D]，國防科學技術大學，2012